구독 중인 기술 블로그 RSS 피드 목록 이 블로그는 다양한 기술 소식을 RSS 피드로 구독하여 콘텐츠를 생성하고 있습니다. 토스 기술 블로그: https://toss.tech/rss.xml 카카오 기술 블로그: https://tech.kakao.com/feed/ 당근(Daangn) 미디엄 블로그: https://medium.com/f...

서론: 한 번의 응답에서 자율적 작업으로 Day 3에서 모델이 도구 하나를 호출하는 법을 배웠다. 에이전트는 그것을 루프로 확장한다. 목표를 받으면 스스로 계획을 세우고, 도구를 쓰고, 결과를 관찰하고, 다음 행동을 정하기를 — 목표를 달성할 때까지 반복한다. “리서치 후 보고서 작성”, “버그 찾아 수정” 같은 다단계 작업이 가능해진다. 하지만 자...

서론: 말하는 모델에서 행동하는 모델로 LLM은 텍스트를 생성할 뿐, 스스로 계산하거나 검색하거나 이메일을 보낼 수 없다. “지금 서울 날씨는?”이라 물으면 그럴듯하게 지어낸다. 함수 호출(tool use)은 모델에게 “이런 도구를 쓸 수 있다”고 알려주고, 모델이 필요할 때 그 도구를 호출하도록 한다. 이것이 LLM을 단순 챗봇에서 실제 일을 하는...

서론: 모델의 지식 한계를 넘기 LLM은 학습 시점까지의 지식만 안다. 오늘 뉴스도, 사내 위키도, 어제 작성한 문서도 모른다. 게다가 모르는 것을 그럴듯하게 지어낸다(환각). RAG(Retrieval-Augmented Generation)는 질문과 관련된 문서를 검색해 프롬프트에 주입함으로써, 모델이 “근거를 보고” 답하게 한다. 오늘날 가장 중요...

서론: 모델 안에서 모델 위로 지난 시리즈(Transformer 원리)에서 LLM의 내부를 들여다봤다. 이번 시리즈는 그 위에서 실제 제품을 만드는 법이다. 모델을 직접 학습시키지 않고도, API 호출과 설계만으로 강력한 애플리케이션을 만들 수 있다. 그 출발점이자 가장 기본 도구가 프롬프트와 컨텍스트 관리다. 이 시리즈는 프롬프팅·RAG·도구 호출...

서론: 원리에서 실전 서빙으로 Day 1~4에서 Transformer가 어떻게 텍스트를 처리하고 학습·생성하는지 완성했다. 하지만 수십억~수천억 파라미터 모델을 실제 서비스로 띄우는 순간, 속도와 메모리의 벽에 부딪힌다. 마지막 편은 이 벽을 넘는 추론 최적화 기법들 — KV 캐시, 양자화, FlashAttention, 그리고 효율적 서빙이다. 대규...

서론: 구조에 지능을 채워 넣기 Day 1~3에서 Transformer의 구조를 조립했다. 하지만 구조만으로는 빈 그릇이다. 수십억 개의 파라미터에 “지능”을 채우는 과정이 학습이고, 학습된 모델이 텍스트를 만드는 과정이 추론이다. 오늘은 사전학습부터 정렬(alignment), 그리고 디코딩 전략까지 — 모델이 어떻게 배우고 어떻게 말하는지를 본다....

서론: 어텐션 하나에서 완전한 블록으로 Day 2의 셀프 어텐션은 강력하지만, 단독으로는 한계가 있다. 한 어텐션은 한 종류의 관계(예: 주어-동사)만 잘 본다. 또 어텐션은 토큰 간 정보를 섞을 뿐, 각 토큰 자체를 깊이 변환하진 못한다. 오늘은 멀티헤드 어텐션, FFN, 잔차연결, 정규화를 조립해 하나의 Transformer 블록을 완성하고, 그...

서론: “Attention Is All You Need”의 그 어텐션 Transformer 이름의 핵심이자 논문 제목의 그것 — 어텐션이다. 어텐션은 한 문장 안에서 각 단어가 다른 단어들을 얼마나 “주목”할지 계산해 문맥을 파악한다. “그 동물은 길을 건너지 않았다, 너무 피곤했기 때문에”에서 “그것(it)”이 동물을 가리킴을 아는 능력이 여기서 ...

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 scriptc는 일반 TypeScript를 Node·V8·JavaScript 엔진 없이 실행되는 소형 네이티브 바이너리로 컴파일하며, 실제 Type...