GyaanSetu AI

AI, 머신러닝 및 LLM 인사이트.

1599 articlesDeep, practical knowledge

구글, 디스커버에 AI 챗봇 추가... 몇 초 만에 피드 재구성 가능

새로운 메뉴 기반 대화 기능이 구글 앱 내에 도입되었습니다. 사용자가 “기후 변화에 관한 과학 이야기를 더 보여줘”와 같이 프롬프트를 입력하거나 말한 뒤 카테고리를 확인하면, 피드가 즉시 새로고침되며 해당 설정은 향후 이용 시에도 유지됩니다.

AI · 5 min read

메타의 수억 달러 규모 Azure 청구서, AI의 진정한 장벽은 '컴퓨팅 자원'임을 시사

메타의 엔지니어들은 Azure에서 Llama 모델을 구동하며 매주 수조 개의 토큰을 처리하고, 그 성능을 OpenAI의 GPT-4와 비교합니다. 이러한 파트너십은 마이크로소프트의 AI 매출을 증대시키는 동시에, 최대 규모의 모델 개발자들조차 막대한 컴퓨팅 자원을 확보하기 위해서는 경쟁 클라우드 서비스가 여전히 필수적이라는 사실을 보여줍니다.

AI · 4 min read

Relay.app 8월 15일 종료, 유료 사용자 9월 14일까지 이전 필수

Relay.app이 8월 15일부로 무료 사용자 서비스를 중단했으며, 유료 고객에게는 9월 14일까지 서비스 이전 기간을 부여했습니다. 'Human-in-the-loop' 방식의 안전 계층이 사라짐에 따라, 기업들은 Zapier의 드래그 앤 드롭 UI를 활용해 워크플로우를 재구축하거나, 비용 효율적이지만 기술적 숙련도가 필요한 n8n으로 전환해야 합니다.

AI · 2 min read

SkewAdam, MoE 학습 메모리 60% 절감 – 6.78B 모델을 단일 40GB GPU에서 구동

SkewAdam은 Adam의 모멘트를 재계층화하여, 밀집 백본(dense backbone)에는 전체 정밀도 모멘텀을 유지하고 전문가 뱅크(expert bank)의 분산은 인자 근사(factor-approximating) 방식으로 처리합니다. 그 결과 최대 GPU 사용량을 81.4GB에서 31.3GB로 낮추었으며, 퍼플렉서티(perplexity)를 126.8에서 108.4로 개선했습니다.

AI · 2 min read

Claude가 리포지토리를 분석해 브랜드 맞춤형 목업을 생성함으로써 디자인-코드 핸드오프 과정을 단축합니다

새로운 /design 명령어를 사용하면 개발자는 “/design a few options for a login screen”과 같은 프롬프트를 입력하여, 라이브 코드베이스의 컬러 팔레트와 컴포넌트 라이브러리를 활용한 여러 개의 고정밀 아트보드를 Claude 워크스페이스에서 직접 받아볼 수 있습니다.

AI · 4 min read

운영 환경 IAM 역할 유출로 AI가 라이브 스택을 삭제하는 사고 발생, 새로운 Slack 승인 절차 도입

한 엔지니어의 AI 코딩 에이전트가 운영 IAM 역할을 상속받아 라이브 CloudFormation 스택을 생성한 직후 삭제하는 사고가 발생하며, 주변 자격 증명(ambient credentials)의 위험성이 드러났습니다. 이에 팀은 모든 권한 요청이 Slack 기반의 사람 승인 단계를 거치도록 하는 액세스 브로커를 배포하여 대응했습니다.

AI · 4 min read

Nemotron 3.5 Lightning AWS 출시, 기업의 LLM 하드웨어 비용 획기적 절감

이제 개발자는 클릭 한 번으로 SageMaker JumpStart 콘솔에서 Nemotron 3.5 Lightning을 즉시 실행할 수 있으며, 별도의 GPU 클러스터, 드라이버 설치 또는 커스텀 컨테이너를 구축할 필요가 없습니다. 가격은 토큰 기반이며 지역에 따라 다를 수 있으므로, 실제 운영에 적용하기 전에 지연 시간과 정확도를 반드시 검증해야 합니다.

AI · 2 min read

Anthropic의 워터마크 API, 전체 문서 업로드 요구로 개인정보 보호 우려 촉발

Anthropic의 탐지 엔드포인트는 사용자가 Claude로 생성된 문서 전체를 업로드하도록 요구하며, 이 과정에서 회사가 에세이, 이력서, 계약서 및 연구 자료에 접근할 수 있게 됩니다. 워터마크 자체는 개인을 식별할 수 있는 정보가 아니지만, 수집된 대량의 데이터가 보관되거나 다른 용도로 재사용될 가능성이 있습니다.

AI · 2 min read

180M 파라미터 LLM, 10달러짜리 ESP32-P4 마이크로컨트롤러에서 구동

p-for-llm 프로젝트는 1억 8,090만 파라미터 규모의 MoE(Mixture-of-Experts) 모델을 6~10달러에 판매되는 ESP32-P4에 탑재했습니다. 삼진 가중치(ternary weights)를 사용하여 초당 약 9개의 토큰을 생성하며, 이 모든 과정은 단 한 대의 소비자용 RTX 5060 Ti에서 학습되었습니다.

AI · 2 min read