Hye Jin Ryoo

[Data Observability] Day 4: Monte Carlo vs Elementary - 엔터프라이즈급 관측 플랫폼 아키텍처

서론: 도구 비교보다 운영 모델 비교가 먼저다 Observability 도구를 고를 때 기능 목록만 보면 실패한다. 엔터프라이즈에서는 아래 질문이 더 중요하다. 메타데이터를 어디에 저장하는가? 탐지 로직을 누가 소유하는가? 온프레미스/보안 정책을 만족하는가? 팀 구조(Data Platform vs Domain Team)와 맞는가? ...

[Data Observability] Day 3: 통계적 이상 탐지 - Z-Score에서 ML 기반 예측까지

서론: 임계치 기반 알림은 왜 자주 실패하는가 대부분의 팀은 처음에 단순 임계치로 시작한다. row count < 1,000이면 알림 null ratio > 5%면 알림 문제는 데이터가 시간대/요일/시즌에 따라 자연스럽게 변한다는 점이다. 고정 임계치는 오탐이 많고, 진짜 이상을 놓치기 쉽다. 1. 탐지 전략의 단계 1....

AI 모델 53종 대상 ‘세차장 테스트’: “세차장이 50m 떨어져 있다면 걸어갈까, 운전할까?”

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 53개의 주요 AI 모델을 대상으로 단순 논리 문제를 제시한 결과, 대부분이 기초적 추론에 실패함 질문은 “세차장이 50m 떨어져 있다면 걸어갈까,...

ASML, 2030년까지 칩 생산량을 50% 늘릴 수 있는 EUV 광원 기술 공개

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 네덜란드 반도체 장비 기업 ASML이 차세대 EUV(극자외선) 광원 기술을 공개 이 기술은 기존 대비 칩 생산 효율을 최대 50% 향상시킬 수 있는...

[Data Observability] Day 2: OpenLineage 표준 - 파이프라인 전반의 데이터 흐름 추적 기술

서론: 리니지는 다이어그램이 아니라 이벤트다 많은 조직이 리니지를 정적 다이어그램으로 관리한다. 하지만 실제 장애 분석에는 런타임 컨텍스트가 필요하다. 어떤 Job의 어떤 실행(run)에서 어떤 입력 dataset을 읽고 어떤 출력 dataset을 만들었는지 OpenLineage는 이 문제를 해결하기 위한 실행 이벤트 기반 표준이다...

데이터베이스 트랜잭션이란 무엇인가?

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 트랜잭션은 데이터베이스에서 여러 작업을 하나의 원자적 단위로 실행하기 위한 구조로, 읽기·쓰기·갱신·삭제를 포함함 MySQL과 Postgres는 b...

[Data Observability] Day 1: Data Quality vs Observability - 정적 검증의 한계와 동적 관측

서론: 품질 규칙만으로는 장애를 막을 수 없다 RAG와 AI 파이프라인이 복잡해질수록, 장애의 원인은 한 지점이 아니라 여러 계층에 분산된다. 수집 단계에서는 정상처럼 보였지만 변환 단계에서 스키마가 미세하게 어긋나고 피처 저장소를 거치며 통계 분포가 변하고 최종적으로 검색/추론 품질이 떨어진다 이때 단순 null-check나 ...