Hye Jin Ryoo

[Beyond DAG] Day 4: Event-driven Pipelines - 센서(Sensor)와 웹훅을 활용한 실시간 연동

서론: 스케줄링에서 반응형 처리로 매시 정각 배치만으로는 제품 요구를 따라가기 어렵다. 이벤트 발생 즉시 파이프라인이 반응해야 하는 경우가 늘고 있다. 대표 사례: 결제 완료 후 리스크 스코어 즉시 갱신 문서 업로드 후 임베딩/인덱싱 즉시 실행 외부 시스템 상태 변경 후 다운스트림 재계산 1. 이벤트 기반 오케스트레이션 기본 구조...

Data Engineering, Orchestration

잠자는 동안 실행되는 에이전트

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 AI 코드 작성 에이전트가 개발자의 수면 중에도 코드를 생성하고 브랜치에 변경사항을 반영하지만, 결과의 정확성과 신뢰성 검증이 어려운 문제가 제기됨...

TechInfo

[Beyond DAG] Day 3: Temporal - 워크플로우 엔진의 끝판왕, 상태 저장 및 재시도 메커니즘

서론: 실패를 전제로 설계된 오케스트레이션 Temporal은 스케줄러라기보다 “내결함성 워크플로우 런타임”에 가깝다. 핵심 질문은 이것이다. 장애가 나도 워크플로우 상태를 잃지 않고 이어갈 수 있는가? 재시도/타임아웃/보상을 코드 정책으로 일관되게 관리할 수 있는가? 1. Temporal의 핵심 개념 Workflow: 상태를 ...

Data Engineering, Orchestration

에이전트 시대에 문학적 프로그래밍을 다시 검토해야 한다

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 코드와 서술을 결합해 읽을 수 있는 형태로 만드는 문학적 프로그래밍이, 대형 언어모델(LLM) 기반 에이전트 환경에서 다시 실용성을 얻고 있음 기...

TechInfo

Anthropic의 Claude Code 사용자당 5천 달러 비용 주장은 사실이 아님

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 Forbes가 인용한 Claude Code Max 요금제의 5천 달러 계산은 실제 컴퓨트 비용이 아닌 API 소매가 기준임 OpenRouter의 Q...

TechInfo

[Beyond DAG] Day 2: Dagster - 데이터 자산(Software-defined Assets) 중심의 파이프라인 설계

서론: 파이프라인이 아니라 자산을 모델링하라 Dagster의 핵심 전환점은 Task가 아니라 Asset을 1급 객체로 다룬다는 점이다. 즉, “어떤 연산을 실행했는가”보다 “어떤 데이터 자산이 어떤 상태인가”가 중심이 된다. 1. Software-defined Assets의 의미 Asset은 단순 테이블 이름이 아니다. 생성 로직 의...

Data Engineering, Orchestration