Hye Jin Ryoo

[MLOps 실전] Day 2: 학습 파이프라인과 실험 관리 - 추적하지 않으면 개선할 수 없다

서론: 노트북 지옥에서 벗어나기 ML 연구는 보통 주피터 노트북에서 시작한다. 하지만 model_final_v2_real_final.ipynb가 쌓이고, “지난주에 0.92 나온 그 설정이 뭐였지?”를 못 찾는 순간 생산성이 무너진다. Day 1에서 데이터를 재현 가능하게 만들었다면, 오늘은 학습 과정 자체를 추적·자동화한다. 추적하지 않은 실험은 ...

[MLOps 실전] Day 1: 데이터와 피처 - 재현 가능한 머신러닝의 토대

서론: 모델보다 데이터가 먼저다 지난 시리즈에서 LLM을 만들고 활용하는 법을 다뤘다. 이번 시리즈는 그 모델을 프로덕션에서 안정적으로 운영하는 공학, MLOps다. 흔한 오해는 “MLOps = 모델 배포”라는 것이다. 실제로 ML 시스템 장애의 대부분은 코드가 아니라 데이터에서 온다. 그래서 첫날은 모델이 아니라 데이터와 피처에서 시작한다. 재현 ...

[LLM 앱 실전] Day 5: 평가와 가드레일 - 신뢰할 수 있는 LLM 앱 운영하기

서론: “잘 되는 것 같다”를 넘어서 Day 1~4에서 프롬프트·RAG·도구·에이전트로 LLM 앱을 만들었다. 그런데 LLM은 비결정적이다. 같은 입력에도 다른 답을 내고, 프롬프트를 한 줄 바꾸면 예상치 못한 곳이 망가진다. “데모는 잘 됐는데 프로덕션에서 터지는” 전형적 함정이다. 마지막 편은 품질을 측정하고(평가) 안전하게 지키는(가드레일) 법...

[LLM 앱 실전] Day 4: 에이전트 - 스스로 계획하고 행동하는 루프

서론: 한 번의 응답에서 자율적 작업으로 Day 3에서 모델이 도구 하나를 호출하는 법을 배웠다. 에이전트는 그것을 루프로 확장한다. 목표를 받으면 스스로 계획을 세우고, 도구를 쓰고, 결과를 관찰하고, 다음 행동을 정하기를 — 목표를 달성할 때까지 반복한다. “리서치 후 보고서 작성”, “버그 찾아 수정” 같은 다단계 작업이 가능해진다. 하지만 자...

[LLM 앱 실전] Day 3: 함수 호출 - LLM에게 도구를 쥐여주기

서론: 말하는 모델에서 행동하는 모델로 LLM은 텍스트를 생성할 뿐, 스스로 계산하거나 검색하거나 이메일을 보낼 수 없다. “지금 서울 날씨는?”이라 물으면 그럴듯하게 지어낸다. 함수 호출(tool use)은 모델에게 “이런 도구를 쓸 수 있다”고 알려주고, 모델이 필요할 때 그 도구를 호출하도록 한다. 이것이 LLM을 단순 챗봇에서 실제 일을 하는...

[LLM 앱 실전] Day 2: RAG - 모델이 모르는 것을 검색해 답하게 하기

서론: 모델의 지식 한계를 넘기 LLM은 학습 시점까지의 지식만 안다. 오늘 뉴스도, 사내 위키도, 어제 작성한 문서도 모른다. 게다가 모르는 것을 그럴듯하게 지어낸다(환각). RAG(Retrieval-Augmented Generation)는 질문과 관련된 문서를 검색해 프롬프트에 주입함으로써, 모델이 “근거를 보고” 답하게 한다. 오늘날 가장 중요...

[LLM 앱 실전] Day 1: 프롬프트와 컨텍스트 - 모델을 제어하는 첫 번째 도구

서론: 모델 안에서 모델 위로 지난 시리즈(Transformer 원리)에서 LLM의 내부를 들여다봤다. 이번 시리즈는 그 위에서 실제 제품을 만드는 법이다. 모델을 직접 학습시키지 않고도, API 호출과 설계만으로 강력한 애플리케이션을 만들 수 있다. 그 출발점이자 가장 기본 도구가 프롬프트와 컨텍스트 관리다. 이 시리즈는 프롬프팅·RAG·도구 호출...

[Transformer 원리] Day 5: 추론 최적화 - KV 캐시, 양자화, FlashAttention

서론: 원리에서 실전 서빙으로 Day 1~4에서 Transformer가 어떻게 텍스트를 처리하고 학습·생성하는지 완성했다. 하지만 수십억~수천억 파라미터 모델을 실제 서비스로 띄우는 순간, 속도와 메모리의 벽에 부딪힌다. 마지막 편은 이 벽을 넘는 추론 최적화 기법들 — KV 캐시, 양자화, FlashAttention, 그리고 효율적 서빙이다. 대규...

[Transformer 원리] Day 4: 학습과 추론 - 사전학습, 파인튜닝, 디코딩 전략

서론: 구조에 지능을 채워 넣기 Day 1~3에서 Transformer의 구조를 조립했다. 하지만 구조만으로는 빈 그릇이다. 수십억 개의 파라미터에 “지능”을 채우는 과정이 학습이고, 학습된 모델이 텍스트를 만드는 과정이 추론이다. 오늘은 사전학습부터 정렬(alignment), 그리고 디코딩 전략까지 — 모델이 어떻게 배우고 어떻게 말하는지를 본다....