AIの専門知識を築くための窓が閉じつつある
人々はAIのデモとプロダクションシステムを、あたかも同じものであるかのように語ります。しかし、それらは別物です。
派手なデモと、現実世界で機能するシステムの間には、巨大な隔たりがあります。
誰もが何でも「エージェント」と呼びます。メモリを持つチャットボットはエージェント。ループを持つスクリプトもエージェント。これは間違いです。この誤解が、質の低いエンジニアリングを招きます。
その結果、単純なタスクを過剰に設計（オーバーエンジニアリング）し、困難なタスクの設計を疎かにしてしまうのです。
真の定義は以下の通りです。エージェントには「目的」があります。エージェントは「次のステップ」を自ら決定します。「失敗」に対処します。そして「タスクが完了したとき」を判断します。それ以外はすべて、単なる関数呼び出しに過ぎません。
違いを見分ける方法： • 人間がすべてのステップをガイドしなければならないなら、それはチャットインターフェースです。 • ツール呼び出しの失敗からシステムが復旧できるなら、それはエージェントです。 • システムが目標をサブタスクに分解できるなら、それは真のエージェントです。
成功しているチームは、単に新しいモデルを追いかけるだけではありません。彼らは次の3つのことに集中しています。
- ツール設計：インターフェースはどれほど洗練されているか？
- 失敗への対処：ツールが何も返さなかったときに何が起こるか？
- オブザーバビリティ：なぜエージェントはその決定を下したのか？
使用するフレームワークよりも、従うべきパターンの方が重要です。LangChainやCrewAIは単なるツールに過ぎません。重要なのはアーキテクチャです。
以下のパターンを活用してください：
- 計画してから実行する：計画のためのステップと、実行のためのステップを分ける。
- 検索と推論を分離する：データの取得とデータの利用は、異なる役割です。
- 明示的な引き継ぎ：あるエージェントが別のエージェントに作業を渡す際は、構造化されたログを使用する。
RAGも問題を引き起こしています。多くの人がチャンキングに失敗しています。チャンクが文脈を断ち切ってしまうと、モデルはハルシネーションを起こします。モデルを責める前に、チャンキングとメタデータを修正しなければなりません。
モデルは進化し、トークンは安価になるでしょう。しかし、それによってエンジニアリングの課題が解決されるわけではありません。
真の課題は、信頼できるシステムを構築することです。ガバナンスと、信頼性の高いツール利用が必要になります。
2年後に重要となるエンジニアは、プロンプトエンジニアではありません。彼らはシステムデザイナーです。他の人がメンテナンスできるAIを構築する人々です。
オプションの学習コミュニティ: https://t.me/GyaanSetuAi