GyaanSetu AI

AI、机器学习与 LLM 洞察。

1599 articlesDeep, practical knowledge

Meta 数亿美元的 Azure 账单凸显了算力才是 AI 的真正障碍

Meta 的工程师在 Azure 上运行 Llama 模型,每周处理数万亿个 token,并将其输出与 OpenAI 的 GPT-4 进行对比。这一合作伙伴关系在推动微软 AI 营收增长的同时,也凸显出即使是规模最大的模型构建者,仍需依赖竞争对手的云服务来获取海量算力。

AI · 4 分钟阅读

Nemotron 3.5 Lightning 上线 AWS,大幅降低企业 LLM 硬件成本

开发人员现在只需点击一下,即可直接从 SageMaker JumpStart 控制台启动 Nemotron 3.5 Lightning,无需配置单独的 GPU 集群、安装驱动程序或使用自定义容器。定价基于 Token 且因地区而异,因此建议团队在投入生产前先验证延迟和准确性。

AI · 2 分钟阅读

研究发现:AI 上下文压缩仅能保留 17% 的用户规则

宾夕法尼亚州立大学的研究人员发现,当大语言模型(LLM)压缩对话历史时,会丢弃诸如“不要使用我的名字”或“更改前先确认”之类的会话约束,导致仅有 17% 的规则得以保留,从而危及安全性。

AI · 3 分钟阅读