구독 중인 기술 블로그 RSS 피드 목록 이 블로그는 다양한 기술 소식을 RSS 피드로 구독하여 콘텐츠를 생성하고 있습니다. 토스 기술 블로그: https://toss.tech/rss.xml 카카오 기술 블로그: https://tech.kakao.com/feed/ 당근(Daangn) 미디엄 블로그: https://medium.com/f...

서론: 모델만 있어도 서비스가 되지 않는다 양자화된 모델이 있고 최적화 기법을 알더라도, 이를 실제 트래픽에 안정적으로 서빙하려면 추론 서버가 필요하다. 어떤 프레임워크를 선택하느냐는 운영 복잡도, 처리량, 지연에 직접 영향을 준다. 1. 주요 추론 프레임워크 비교 항목 vLLM TGI ...

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 AI가 얼굴 비주얼 승자를 골라주고 외모 능력치를 분석해주는 Better Than You를 소개합니다! 주위에 대결을 붙여보고 싶은 상대가 있나요?...

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 Eurostile Bold Extended만으로도 영화적 시대감을 만들 수 있지만, 여섯 가지 변형을 더하면 텍스트가 훨씬 더 미래적으로 보임 단순...

서론: Decode가 느린 이유 LLM Decode는 토큰을 하나씩 생성한다. 매 스텝마다 이전 모든 토큰의 Key-Value 쌍을 다시 읽어야 한다. 이것이 KV 캐시다. 문제는 이 캐시를 어떻게 관리하느냐에 따라 메모리 효율과 처리량이 크게 달라진다. 1. KV 캐시란 Transformer의 Attention 연산에서 매 토큰 생성 시 필요한...

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 Obsidian Community가 플러그인·테마용 새 디렉터리와 개발자 대시보드로 출시되어 제출, 관리, 발견, 사용 흐름을 통합함 2020년 O...

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 15년 전 클라우드 중심의 Chromebook을 선보인 Google이 이번에는 Gemini AI를 핵심에 내장한 새로운 카테고리의 노트북 Googl...

서론: 가중치를 줄이면 무엇이 달라지나 LLaMA-3 70B 모델의 FP16 가중치는 약 140GB다. A100 80GB GPU 2장이 필요하다. 이를 INT4로 양자화하면 약 35GB, A100 1장에 들어간다. 메모리가 절반으로 줄면 GPU 수가 줄고 비용도 줄어든다. 양자화는 고정밀도 부동소수점 가중치를 낮은 비트 정수로 변환하는 기술이다. ...

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 현재 진행 중인 작업과 새로 떠올린 아이디어를 공유해 달라는 질문임 …

이 글은 GeekNews - 개발/기술/스타트업 뉴스 서비스 블로그에 게시된 글을 자동으로 가져온 것입니다. 더 자세한 내용과 원문은 아래 링크를 참고해 주세요. ➡️ 원문 보러 가기 원문 요약 YCOMBINATOR.FYI는 YC 비공식 기록으로 39개 항목과 $23.0B 소각 자본을 집계함 Delve는 493개 이상 조작 감사 보고서 의혹...