GyaanSetu AI

AI, 머신러닝 및 LLM 인사이트.

1599 articlesDeep, practical knowledge

Neon 폴링 간격을 15분으로 연장하여 컴퓨팅 비용 절감

클라이언트 측 새로고침 간격을 30초에서 15분으로 늘림으로써, Neon 데이터베이스가 'scale to zero'를 수행할 수 있을 만큼 충분한 유휴 상태를 유지할 수 있게 되었습니다. 이를 통해 이전 Vercel 비용 대시보드에서 급증했던 초 단위 컴퓨팅 비용을 제거할 수 있었습니다.

AI · 2 min read

Claude 계층화를 통한 API 비용 35% 절감 및 지연 시간 27초로 단축

저자는 작업의 모호성에 따라 Haiku, Sonnet 또는 Opus로 작업을 매핑하는 정적 룩업(static lookup)을 구축하고, 2회 실패 시 에스컬레이션 규칙을 추가했습니다. 4주 동안 이 시스템은 품질을 유지하면서 API 비용을 기존의 65% 수준으로 낮추고, 중앙값 처리 시간을 42초에서 27초로 단축했습니다.

AI · 3 min read

단 16GB RAM만 탑재된 2026년형 노트북에서 5가지 새로운 코딩 LLM 실행하기

다섯 가지 모델 모두 Ollama, LM Studio, llama.cpp와 같은 가벼운 런타임으로 구동되며, 자동 완성, 심층 디버깅, JSON 스캐폴딩, 초저메모리 최적화, 다국어 문서 지원 등 각기 다른 특화 기능을 제공합니다. 덕분에 노트북 한 대만으로도 다양한 도구를 자유롭게 조합하여 사용할 수 있습니다.

AI · 3 min read

OpenAI, 접근 제어 허점 지적 위해 Apple iMessage 대화 내용 공개

OpenAI는 Apple 엔지니어들이 1월 22일 퇴사한 전직 직원 Chang Liu에게 몇 주 후에도 반복적으로 도면을 요청하는 내용이 담긴 iMessage 스크린샷을 공개하며, 이번 분쟁이 OpenAI의 채용 전략 문제가 아닌 Apple의 내부 접근 제어 실패임을 시사했다.

AI · 3 min read

llama.cpp b10255, SYCL KV-Cache 추가로 Intel GPU 추론 속도 향상

b10255 릴리스에서는 양자화된 키-값(key-value) 캐시를 지원하는 oneDNN SDPA의 SYCL 구현이 추가되었습니다. 이를 통해 Intel GPU 사용자는 Q4_0, Q8_0 또는 FP32 형식으로 더 큰 모델이나 더 긴 컨텍스트를 실행할 수 있으며, 메모리 대역폭과 지연 시간을 획기적으로 단축할 수 있습니다.

AI · 3 min read

개발자 테스트 결과, 권한 제한 시 Qwen3.8-Max의 성능 저하 확인

Qwen3.8-Max는 2.4조 개의 파라미터 규모를 갖추고 있으나, 추론 시에는 950억 개만 활성화됩니다. 멀티모달 에이전트가 코드를 조합할 수 있는 능력은 갖췄지만, 도구 호출 오류, 토큰 제한, 또는 쓰기 권한 제한이 발생할 경우 작동이 중단되는 것으로 테스트 결과 드러났습니다.

AI · 3 min read

MiniMax, 함정이 숨겨진 비디오 모델을 오픈 소스로 공개

MiniMax가 함정이 있는 비디오 모델을 오픈 소스로 공개했습니다. MiniMax는 H3 비디오 모델을 오픈 웨이트로 출시했습니다. 대부분의 뉴스 매체들은 이 부분에만 주목하고 있지만, 정작 가장 중요한 세부 사항은 놓치고 있습니다. 그...

AI · 3 min read

Runway, 새로운 개발자 중심 생성형 비디오 플랫폼으로 AWS 공략

새로운 Runway Dev 플랫폼은 단일 REST API를 통해 비디오, 오디오, 이미지 생성을 통합하고, AI 구성 요소를 연결하는 시각적 미디어 라우터(Media Router)를 추가했습니다. 또한 Motion Brush, Director Mode, Temporal Coherence를 도입하여 크리에이터에게 스튜디오급의 정교한 제어 기능을 제공합니다.

AI · 3 min read

TensorSharp, .NET 팀이 파이썬 없이 LLM 추론을 네이티브하게 구현할 수 있게 해준다

TensorSharp는 Windows, macOS, Linux에서 GGUF 모델을 실행하는 순수 C# 추론 엔진으로, CPU, CUDA, MLX, Metal 및 Vulkan을 지원합니다. 벤치마크 결과, 디코딩 속도는 경쟁력을 유지하면서도 프리필(prefill) 지연 시간 측면에서는 llama.cpp를 능가하는 경우가 많아, .NET 서비스가 파이썬 사이드카(sidecar) 없이도 AI를 임베드할 수 있도록 지원합니다.

AI · 2 min read