Hye Jin Ryoo

[LLM 추론 최적화] Day 1: 왜 추론 비용이 문제인가

서론: 학습보다 추론이 더 오래 산다 LLM을 학습하는 것은 한 번의 이벤트다. 추론은 서비스가 살아있는 동안 매일, 매 요청마다 실행된다. 규모가 커질수록 추론 비용이 학습 비용을 압도한다. GPT-4 수준 모델 하나를 A100 클러스터에서 서빙하면 하루에 수십만 달러가 나온다. 추론 최적화 1%는 직접적인 비용 절감이다. 1. 추론 파이프라인...

왜 ASCII에서 소문자는 대문자 바로 뒤에 오지 않을까?

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 ASCII에서 Z는 90, a는 97에 배치되어 있으며, 그 사이 6개 문자 덕분에 대문자와 소문자의 코드 차이가 32로 맞춰짐 32는 2^5라서 ...