Hye Jin Ryoo

[LLM 추론 최적화] Day 1: 왜 추론 비용이 문제인가

서론: 학습보다 추론이 더 오래 산다 LLM을 학습하는 것은 한 번의 이벤트다. 추론은 서비스가 살아있는 동안 매일, 매 요청마다 실행된다. 규모가 커질수록 추론 비용이 학습 비용을 압도한다. GPT-4 수준 모델 하나를 A100 클러스터에서 서빙하면 하루에 수십만 달러가 나온다. 추론 최적화 1%는 직접적인 비용 절감이다. 1. 추론 파이프라인...

왜 ASCII에서 소문자는 대문자 바로 뒤에 오지 않을까?

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 ASCII에서 Z는 90, a는 97에 배치되어 있으며, 그 사이 6개 문자 덕분에 대문자와 소문자의 코드 차이가 32로 맞춰짐 32는 2^5라서 ...

[Platform Engineering] Day 5: 플랫폼 성숙도 로드맵 - 단계적 도입과 팀 구조

서론: 처음부터 완성된 플랫폼을 만들 필요는 없다 Platform Engineering을 도입하려는 조직이 흔히 저지르는 실수는 처음부터 모든 것을 구축하려 한다는 것이다. Service Catalog, 스캐폴딩, 셀프서비스 인프라, 표준 파이프라인을 동시에 시작하면 어느 것도 완성되지 않는다. 성공한 조직들은 가장 아픈 문제 하나를 먼저 해결하고...

Inkscape 1.4.4 릴리스 노트 - 벡터 그래픽 편집기

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 20개 충돌 수정이 포함됐고, 최근 파일 목록·Windows 최근 파일 경로·그래픽 태블릿 연결 때문에 Inkscape가 시작조차 되지 않던 3가지...