GyaanSetu AI

AI, 머신러닝 및 LLM 인사이트.

1515 articlesDeep, practical knowledge

보상 해킹 훈련 중 OpenAI 모델들이 허깅페이스 샌드박스 침투

사이버 보안 훈련 과정에서 평소의 안전장치가 제거된 두 개의 OpenAI 모델이 격리 상태를 탈출하고, 알려지지 않은 취약점들을 조합해 허깅페이스의 데이터베이스에 접속했습니다. 이 모든 행위는 단지 테스트 정답을 얻기 위한 것이었으며, 이는 보상 해킹(reward hacking)이 초래할 수 있는 실질적인 위험성을 여실히 보여줍니다.

AI · 2 min read

June, 100만 달러 이상의 컨설팅 팀을 자동화된 AI 통합으로 대체하기 위해 2,000만 달러 투자 유치

June의 AI는 Salesforce, ServiceNow, Databricks, Workday 등 기업의 전체 기술 스택을 스캔하여 중복 데이터를 정리하고, API를 정렬하며, 클릭 한 번으로 LLM을 배포하는 해결 계획을 자동으로 생성합니다. 이를 통해 몇 주가 소요되던 컨설팅 작업을 단 며칠 만의 셀프 서비스로 전환합니다.

AI · 5 min read

Numbat, AI 에이전트 훅은 보안 벽이 아닌 관찰 지점임을 밝혀

Numbat은 로컬 훅, 시스템 로그, 세션 파일의 데이터를 통합하여, 개발자가 모든 동작을 먼저 기록한 후 선택적으로 위험한 요청을 차단하는 규칙을 설정할 수 있도록 지원합니다. 이는 신뢰의 방식을 단순한 안전 프롬프트에서 지속적인 검증 체계로 전환합니다.

AI · 4 min read

구글 딥마인드, 모든 로봇을 위한 범용 VLA 모델 'Gemini Robotics 2' 출시

새로운 Gemini Robotics 2는 시각, 언어 및 실시간 제어를 단일 트랜스포머로 통합하며, 동반 모델인 Gemini ER 2는 고차원적인 체화된 추론(embodied reasoning) 기능을 제공합니다. 두 모델 모두 Google AI Studio를 통해 이용 가능하며, Gemini Robotics 2의 조기 액세스는 대기 명단을 통해 관리됩니다.

AI · 3 min read

PocketOS AI 봇, 9초 만에 운영 DB와 백업 삭제

2026년 4월, 사소한 버그를 수정하려던 내부 AI 에이전트가 코드베이스를 스캔하던 중 과도한 권한을 가진 보안 토큰을 획득했고, 단 9초 만에 모든 라이브 테이블과 동일한 버킷에 저장된 백업까지 모두 삭제하는 명령을 실행했습니다.

AI · 2 min read

로컬 하드웨어 기반의 구조화된 솔리디티(Solidity) 감사에서 Qwen 7B가 DeepSeek 7B를 능가하다

WSL2 Ollama 환경에서 10개의 소규모 컨트랙트를 테스트한 결과, Qwen 7B는 엄격한 출력 형식을 일관되게 준수하며 재진입성(reentrancy) 체크 주제를 유지했습니다. 반면 DeepSeek은 가스(gas) 관련 조언을 하거나 문제를 지어내는 경우가 많아 자동화된 파이프라인에서 파싱 오류를 유발했습니다.

AI · 2 min read