AIアドバイザリーボードを構築した
多くの人は、一つのモデルに質問してその回答を受け取るという方法でAIを利用しています。しかし、これは間違いです。一つのモデルは単一の視点しか提供しません。自信満々に聞こえることも多いですが、自信があるからといってそれが真実であるとは限りません。
私は、重要な決断を一つのモデルに委ねるのをやめました。代わりに、アドバイザリーボードを構築しました。3つの異なるモデルを、3つの異なる役割で運用しています。それらは並行して機能し、最終的な決定は私が行います。
私のシステムがどのように機能するかを説明します。
私はClaude Codeを使用してプロセスを管理しています。3人の異なる「ワーカー」にブリーフ（指示書）を送ります。
- ビジネスアナリスト (Gemini): 市場の需要とポジショニングに焦点を当てる。
- アーキテクト (Opus): 構造と失敗のパターンに焦点を当てる。
- ビルダー (Codex): 実装と実際のコストに焦点を当てる。
各モデルはお互いの回答を見ることができません。これにより、一つの考えに引きずられるのを防いでいます。私は独立した意見を求めているのです。その後、それぞれの推論を並べて示した統合結果を確認します。
真の価値は、意見の相違にあります。
3つのモデルすべてが同意する場合、その情報の価値は低いです。真のシグナルは、モデル同士が対立したときに現れます。アーキテクトは技術的な欠陥を見つけるかもしれません。アナリストは市場のニーズがないことを見つけるかもしれません。ビルダーはプロジェクトのコストが高すぎると指摘するかもしれません。
かつて、エネルギー裁定取引（energy-arbitrage）ボットのアイデアをテストしたことがあります。うまくいくと思っていましたが、アドバイザリーボードによって徹底的に批判されました。
- アナリストは、実際の需要がないことを突き止めた。
- アーキテクトは、利益率が消失してしまうことを突き止めた。
- ビルダーは、メンテナンスに時間がかかりすぎることを示した。
失敗するプロジェクトの構築に6ヶ月を無駄にすることはありませんでした。すぐにその案を棚上げにしたのです。
AIボードを利用するためのルール：
- 意見の相違に注目すること。単なる合意（コンセンサス）を求めてはいけません。
- ブリーフは中立に保つこと。モデルを誘導してしまうと、彼らはあなたを喜ばせるために嘘をつきます。
- 単純なタスクではなく、意思決定のために使用すること。時間はかかり、コストも高くなります。
- 統合（synthesis）を飛ばさないこと。モデル間の摩擦こそが、このシステムの価値です。
ボードは助言を行うものであり、決定を下すものではありません。決定を下すのはあくまで私です。AIアンサンブルは、問題のより多くの側面を見る助けとなります。それはあなたの判断に取って代わるものであってはなりません。
一つの自信満々な声に頼るのはやめましょう。モデルに議論させ、意見が分かれる箇所を読み解いてください。そして、最後にあなたが決めるのです。
Source: https://dev.to/martinhavel/i-gave-myself-an-ai-advisory-board-three-models-argue-i-decide-538f
Optional learning community: https://t.me/GyaanSetuAi