OpenSearch Service 설정

Cloudwatch Log 구독필터 → lambda Function → AWS OpenSearch 로그 수집을 위해서는 OpenSearch에 아래와 같은 설정이 필요하다.

 

Backend role의 ARN은 lambda 함수의 IAM 역할 ARN이다.

 

오래된 인덱스 자동 삭제 하기

Index Management → State Management policies 에서 새로운 policy를 추가해 준다.

policy를 생성하고 특정 index pattern을 검색하여 자동으로 해당 policy를 적용해 준다.

index의 상태(state)를 변경해 주고, 상태(state)에따라 명령을 실행하는 방식

최근 7일치 index만 보관할 경우

index는 날짜별로 생성된다고 가정한다(cwl-YYYY.mm.dd 형식).

아래의 경우 정책(policy)의 이름은 “delete_old_indices_7d”이다.

 

{
    "policy": {
        "policy_id": "delete_old_indices_7d",
        "description": "A policy that delete old 7 days.",
        "last_updated_time": 1668408892087,
        "schema_version": 14,
        "error_notification": null,
        "default_state": "hot_state",
        "states": [
            {
                "name": "hot_state",
                "actions": [],
                "transitions": [
                    {
                        "state_name": "delete",
                        "conditions": {
                            "min_index_age": "7d"
                        }
                    }
                ]
            },
            {
                "name": "delete",
                "actions": [
                    {
                        "retry": {
                            "count": 3,
                            "backoff": "exponential",
                            "delay": "1m"
                        },
                        "delete": {}
                    }
                ],
                "transitions": []
            }
        ],
        "ism_template": [
            {
                "index_patterns": [
                    "cwl-*"
                ],
                "priority": 100,
                "last_updated_time": 1639009244056
            }
        ]
    }
}