Hye Jin Ryoo

[Transformer 원리] Day 4: 학습과 추론 - 사전학습, 파인튜닝, 디코딩 전략

서론: 구조에 지능을 채워 넣기 Day 1~3에서 Transformer의 구조를 조립했다. 하지만 구조만으로는 빈 그릇이다. 수십억 개의 파라미터에 “지능”을 채우는 과정이 학습이고, 학습된 모델이 텍스트를 만드는 과정이 추론이다. 오늘은 사전학습부터 정렬(alignment), 그리고 디코딩 전략까지 — 모델이 어떻게 배우고 어떻게 말하는지를 본다....

AI, Transformer

[Transformer 원리] Day 3: Transformer 블록 - 멀티헤드, FFN, 잔차연결 조립하기

서론: 어텐션 하나에서 완전한 블록으로 Day 2의 셀프 어텐션은 강력하지만, 단독으로는 한계가 있다. 한 어텐션은 한 종류의 관계(예: 주어-동사)만 잘 본다. 또 어텐션은 토큰 간 정보를 섞을 뿐, 각 토큰 자체를 깊이 변환하진 못한다. 오늘은 멀티헤드 어텐션, FFN, 잔차연결, 정규화를 조립해 하나의 Transformer 블록을 완성하고, 그...

AI, Transformer

[Transformer 원리] Day 2: 셀프 어텐션 - 각 단어가 문맥을 읽는 법

서론: “Attention Is All You Need”의 그 어텐션 Transformer 이름의 핵심이자 논문 제목의 그것 — 어텐션이다. 어텐션은 한 문장 안에서 각 단어가 다른 단어들을 얼마나 “주목”할지 계산해 문맥을 파악한다. “그 동물은 길을 건너지 않았다, 너무 피곤했기 때문에”에서 “그것(it)”이 동물을 가리킴을 아는 능력이 여기서 ...

AI, Transformer

Vercel의 Scriptc - 바이너리에 JavaScript 엔진을 포함하지 않는 TypeScript 네이티브 컴파일러

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 scriptc는 일반 TypeScript를 Node·V8·JavaScript 엔진 없이 실행되는 소형 네이티브 바이너리로 컴파일하며, 실제 Type...

TechInfo

아이들에게 Forth를 가르쳐 본 경험

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 중·고등학생을 위한 12회 프로그래밍 수업에서 문법보다 기초 개념에 집중하고자, 1970년에 나온 스택 기반 연결형 언어 Forth를 선택함 종이 ...

TechInfo

일자리에 무슨 일이 벌어지고 있나? AI 과대광고와 현실 구분하기

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 현재 데이터에서는 AI 노출도가 높은 직종의 대규모 고용 감소가 확인되지 않지만, 신규 졸업자와 젊은 사무직의 채용 부진에는 AI가 일부 영향을 미...

TechInfo