AIプロンプトが失敗し続ける理由
多くの人は、AIプロンプティングを電灯のスイッチのように考えています。オンかオフかのどちらかである、と。プロンプトは「良い」か「悪い」かのどちらかだと考えてしまうのです。
AIのワークフローが崩れたとき、問題が最後のステップにあることは稀です。たいていは、2、3ステップ前にあるものです。
マルチステップのAIパイプラインを構築しているなら、この感覚に心当たりがあるはずです。要約するために一つのプロンプトを使い、要点を抽出するために別のプロンプトを使い、結果を整形するために3つ目のプロンプトを使う、といった具合です。
ある日、最終的な出力がおかしくなっていることに気づきます。最後のプロンプトを書き直し、中間のプロンプトを微調整し、最初のプロンプトまで変更してみます。しかし、何時間経っても状況は改善しません。
これが起こる理由は、各プロンプトが前のステップの出力に依存しているからです。ステップ1でのデータ抽出が不十分だと、その後のすべてが台無しになってしまいます。
Cisco Foundation AIの研究者たちは、この問題を解決するためにFAPOと呼ばれるシステムを開発しました。これはパイプライン内の各ステップを独立して評価します。どこで失敗が起きているかを正確に特定し、その特定のレベルに対する修正案を提示してくれます。
このロジックを活用するために、特別なツールは必要ありません。今日からでも、手動でステップ単位の診断を行うことができます。
「最後のステップが問題だ」と思い込むのはやめましょう。各ステップを個別にテストしてください。
例：インタビューの書き起こしをブログ記事にする場合。
- ステップ1：書き起こしを要約する。
- ステップ2：テーマを抽出する。
- ステップ3：記事のドラフトを作成する。
もし記事の内容が一般的すぎて中身がないものになっていたら、単にステップ3を書き直すだけでは不十分です。
まず、ステップ1だけを実行してみてください。要約で詳細が抜け落ちていませんか？もしそうなら、ステップ1を修正します。
次に、自分で作成した完璧な要約をステップ2に与えてみてください。それでもテーマが一般的すぎるなら、ステップ2を修正します。
3つ目に、完璧な要約と完璧なテーマをステップ3に与えます。これで記事が良くなったのであれば、ステップ3には問題がなかったことが分かります。
このプロセスには20分しかかかりません。何時間も推測を繰り返すよりずっと効率的です。
今週、ワークフローを改善する方法：
- ワークフローを紙に書き出す。すべてのAIステップをリストアップする。
- 各ステップの後に品質チェックを追加する。「この出力は、次のステップを成功させるのに十分な品質か？」と自問する。
- テストライブラリを作成する。各ステップにおける「良い入力例」と「悪い入力例」を保存しておく。
- 一度に一つずつ変更する。一度に2つのプロンプトを変更してはいけません。
信頼できるAIとは、反復的なプロセスによって作られるものです。一度きりの創造的な行為ではありません。
あなたの経験はどうですか？ぜひコメント欄で教えてください。
Optional learning community: https://t.me/GyaanSetuAi