没人想要你的 70B 参数模型了
AI 世界曾经只关注规模。
人们竞相追求更大的模型、更大的上下文窗口和更高的基准测试分数。如果你的模型不够庞大，你就无法参与竞争。
那个时代正在结束。
庞大的模型令人印象深刻。但大多数人并不需要那么强大的能力。车载仪表盘助手不需要写诗，它只需要理解“调低空调温度”，并且在运行过程中不会耗尽电池。
小型化、专业化的模型正在占据主导地位，主要原因有五点：
- 端侧使用：现在的手机拥有可以在本地运行小型模型的硬件。即使在隧道中或在没有网络的飞行途中，你的助手也能正常工作。
- 隐私与监管：医院和律师事务所不能将敏感数据发送到第三方 API。在本地硬件上运行小型模型可以将数据保留在机构内部。
- 低延迟：自动驾驶汽车不能等待云端服务器来判断一个形状是否是行人。模型必须存在于做出决策的地方。
- 更低的成本：在庞大模型上运行数百万次请求会吞噬你的利润空间。经过微调的小型模型通常更便宜，也更具可持续性。
- 网络连接不佳：在世界许多地方，互联网并非始终可用。小型模型允许产品在离线状态下运行。
你可以通过三种主要方法使模型变小：
- 量化 (Quantization)：降低模型权重的精度以节省空间。
- 剪枝 (Pruning)：移除不增加价值的冗余连接。
- 知识蒸馏 (Knowledge distillation)：利用大模型教导小模型如何模仿其推理过程。
这种转变改变了所需的技术栈。
为巨型模型编写提示词 (Prompting) 是一项技能。而挑选、微调并部署一个专业化模型则是另一种工程挑战。这关乎在速度、成本和准确性之间进行权衡。
不要再试图构建一个样样通样样松的巨型工具了。去构建几个能把一件事做好的小型工具吧。
小型模型并非降级，而是完成特定任务的更佳工具。
来源：https://dev.to/blakcodes/nobody-wants-your-70b-parameter-model-anymore-56jo
可选学习社区：https://t.me/GyaanSetuAi