Hye Jin Ryoo

[Data Observability] Day 2: OpenLineage 표준 - 파이프라인 전반의 데이터 흐름 추적 기술

서론: 리니지는 다이어그램이 아니라 이벤트다 많은 조직이 리니지를 정적 다이어그램으로 관리한다. 하지만 실제 장애 분석에는 런타임 컨텍스트가 필요하다. 어떤 Job의 어떤 실행(run)에서 어떤 입력 dataset을 읽고 어떤 출력 dataset을 만들었는지 OpenLineage는 이 문제를 해결하기 위한 실행 이벤트 기반 표준이다...

[Data Observability] Day 1: Data Quality vs Observability - 정적 검증의 한계와 동적 관측

서론: 품질 규칙만으로는 장애를 막을 수 없다 RAG와 AI 파이프라인이 복잡해질수록, 장애의 원인은 한 지점이 아니라 여러 계층에 분산된다. 수집 단계에서는 정상처럼 보였지만 변환 단계에서 스키마가 미세하게 어긋나고 피처 저장소를 거치며 통계 분포가 변하고 최종적으로 검색/추론 품질이 떨어진다 이때 단순 null-check나 ...

중국 CXMT, DDR4 반값 공급으로 삼성·SK의 HBM4 경쟁에 압박

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 중국 CXMT가 DDR4 메모리 가격을 절반 수준으로 인하하며, 글로벌 공급 부족 속에서 구형 DRAM 시장 점유율 확대를 시도 HP·Dell 등 ...

미 전역에서 Flock 감시 카메라가 해체·파괴되고 있다

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 미국 여러 지역에서 Flock Safety의 차량 번호판 인식 카메라(ALPR) 가 시민들에 의해 의도적으로 파괴되는 사례가 확산 중임 이 카메라는...

[Modern Table Format] Day 5: 최종 비교 - 하둡의 유산에서 벗어난 클라우드 네이티브 스토리지 전략

서론: 이제 질문은 “무엇이 최고인가”가 아니다 현대 데이터 플랫폼의 핵심 질문은 단일 벤더/포맷 선택이 아니다. 배치와 스트리밍을 어떻게 공존시킬 것인가 쓰기 증폭과 읽기 지연을 어디서 균형 잡을 것인가 버전 관리와 거버넌스를 어떤 제어 평면에서 운영할 것인가 즉, 진짜 설계 대상은 테이블이 아니라 운영 모델이다. 1. 5일 요...