진행하였던 프로젝트의 요약 내용입니다. 실제 구현 코드는 반출이 어려워 작성하지 않았습니다.

프로젝트 개요

서버 아키텍처

사용 기술 스택

보유 스킬 (2)

담당 역할

• 기존 Elasticsearch 클러스터 분리 작업 ( 6 Nodes → 5 Node (APM 로그 수집 클러스터) and 1 Node (Kibana Audit Log 및 사용자 계정 관리 클러스터)
• 로그 수집 파이프라인 설계 및 구축 ( Filebeat + Kafka + Metricbeat→ Logstash → 3 Node ElasticSearch DB )
• Kafka 토픽 구조 설계 및 소스/도메인별 분리 운영 (channel-*, metric-zabbix-*, category-iims-*, infra-*, jennifer-*, maxgauge-* 등)
• Logstash 파이프라인 필드 파싱, 데이터 정제, 필터 규칙 설계
• Logstash pipelines.d 내 소스별 .conf 파이프라인 분리 운영 및 배포 관리
• ECS (Elastic Common Schema) 기반 데이터 모델링 및 대규모 데이터 리인덱싱
• Zabbix 메트릭 문서의 host, service, event, data_stream 공통 필드와 IIMS/자산 관리 메타데이터 매핑 구조 설계
• Elasticsearch enrich policy 기반으로 host.ip → IIMS 호스트/서비스 메타데이터를 매칭하고, iims.* 임시 필드를 host, service, Maintenance, Environment, Spec 표준 필드로 재구성하는 Ingest Pipeline 설계
• Elasticsearch Ingest Pipeline(enrich-iims-default, enrich-iims-jennifer-paas, enrich-iims-k8s) 운영 및 데이터셋별 enrich 정책 적용