[OpenTelemetry 실전] Day 5: 도입과 거버넌스 - 관측성을 제품처럼 운영하기
이 글은 AI(Claude)의 도움을 받아 작성하고, 작성자가 검토·편집했습니다.
서론: 오늘의 문제
계측 라이브러리를 설치했다고 관측성이 완성되지는 않는다. 공통 의미 규칙, 비용 예산, 품질 검사와 단계적 전환으로 팀이 신뢰하는 플랫폼을 만든다.
1. 관측 질문에서 시작하기
먼저 사용자가 실패하는 지점, 지연의 원인, 용량 한계를 어떤 질문으로 찾을지 정한다. 신호 수집량이 아니라 답할 수 있는 운영 질문의 수를 성과로 본다.
2. Semantic Convention 적용
공통 attribute 이름을 사용하면 서비스와 언어가 달라도 같은 질의를 재사용할 수 있다. 자체 속성은 namespace와 소유자를 정하고 표준 전환 계획을 남긴다.
3. 계측 품질 테스트
CI에서 필수 resource, span 이름, metric 단위와 금지 속성을 검사한다. 스테이징에서 실제 Collector를 통과시켜 exporter 설정과 context propagation까지 검증한다.
4. 비용과 보존 정책
trace, metric, log는 가치와 질의 패턴이 다르므로 보존 기간과 샘플링을 따로 정한다. 팀별 카디널리티와 수집량을 보여 주어 비용을 행동 가능한 피드백으로 만든다.
5. 점진적 마이그레이션
기존 에이전트와 OTel을 한 번에 교체하지 말고 신호와 서비스 단위로 전환한다. 이중 전송 기간에는 중복 비용과 수치 차이를 명시적으로 비교한다.
6. 자주 실패하는 방식
SDK 버전과 속성 규칙을 팀마다 자유롭게 두면 같은 지표가 다른 의미로 쌓인다. 비용 절감만을 목표로 무차별 샘플링하면 장애에 필요한 희귀 신호부터 사라진다.
7. 관측과 검증
계측 적용률, 표준 속성 준수율, trace 완결성, 서비스별 telemetry 비용, 사용되지 않는 지표와 대시보드 수를 정기적으로 검토한다. 기준값은 정상 시간대와 변경 전후를 비교해 정하고, 점검 결과가 실제 행동으로 이어지는지 정기적으로 확인한다.
실행 흐름
1
2
3
4
5
6
7
8
9
1. 관측 질문에서 시작하기
↓
2. Semantic Convention 적용
↓
3. 계측 품질 테스트
↓
4. 비용과 보존 정책
↓
5. 점진적 마이그레이션
개별 도구보다 이 순서를 팀의 설계 리뷰와 Runbook에 남기는 것이 중요하다. 상황이 달라져도 판단 근거와 검증 결과가 이어져야 한다.
실전 체크리스트
- 관측 질문에서 시작하기: 기준과 책임자를 문서화했다.
- Semantic Convention 적용: 기준과 책임자를 문서화했다.
- 계측 품질 테스트: 기준과 책임자를 문서화했다.
- 비용과 보존 정책: 기준과 책임자를 문서화했다.
- 점진적 마이그레이션: 기준과 책임자를 문서화했다.
- 실패 패턴을 재현하고 안전한 복구 경로를 확인했다.
- 핵심 신호를 대시보드와 변경 검증에 연결했다.
참고 자료
시리즈 마무리
이번 연재에서 다룬 원칙을 실제 시스템의 설계·배포·운영 흐름에 연결해 반복 가능한 기준으로 만들자.