エージェンティック・エンジニアリングの台頭：プロンプト負債
自然な英語でプロンプトを書くことは、まるで魔法のように感じられます。欲しいものを入力するだけで、プロトタイプが現れるからです。しかし、長期的なシステム運用において、この魔法は罠へと変わります。
あなたはおそらく、「プロンプト負債」を蓄積しています。
プロンプト負債とは、精密なエンジニアリングを用いる代わりに、自然言語を使ってモデルを制御しようとしたときに発生します。これにより、3つの大きな問題が生じます。
- 反復（イテレーション）が遅くなる。 一つのエラーを修正するためにテキストを追加すると、そのテキストが別の箇所を壊してしまう。やがて、プロンプトは繰り返される指示の塊（ぐちゃぐちゃな状態）になります。
- チームが制御不能になる。 大文字の警告やエッジケースで埋め尽くされたプロンプトは、同僚が読み解いたり管理したりすることが不可能になります。
- 特定のモデルにロックインされる。 あるモデル向けに調整されたプロンプトは、より新しく優れたモデルでは失敗することがよくあります。チームはシステムが壊れることを恐れ、古くて高価なモデルを使い続けざるを得なくなります。
これは、あなたがモデルの「重み（weights）」と戦っているために起こります。モデルが指示に抵抗するとき、あなたはそれを繰り返します。繰り返されたり強調されたりする指示はすべて「傷跡」です。それは、モデルの学習内容があなたの意図と衝突している箇所を示しています。
自然言語は、エンジニアリングにはあまりにも不正確です。言い回しのわずかな変化が、モデルの挙動を逆転させることがあります。プロンプト内の無関係な事実でさえ、モデルの応答を変えてしまう可能性があるのです。
どうすれば解決できるでしょうか？
手書きでプロンプトを書くのをやめ、測定可能な指標を用いて挙動を規定し始める必要があります。
- プロンプトとは、モデルが従ってくれることを「期待する」段落のことです。
- **メトリクス（指標）**とは、モデルが満たさなければならない「契約」のことです。
エンジニアリングの未来は、「プロンプティング」から「プログラミング」へと移行しています。DSPyやGEPAのようなツールを使えば、目標とメトリクスを定義できます。すると、システムがその目標を達成するための最適なプロンプトを探索してくれます。
これにより、プロンプティングは「コンパイルされたアーティファクト」へと変わります。もし、より安価な新しいモデルが登場しても、パニックになる必要はありません。単に新しいモデルに対してメトリクスを実行し、プロンプトを再生成するだけでよいのです。
エンジニアがアセンブリ言語からコンパイラへと移行したように、AIエンジニアは文字列の手動調整から、メトリクスの最適化へと移行しなければなりません。
魔法の言葉でモデルをなだめるのはやめましょう。測定可能な仕様に基づいて構築を始めるのです。
Optional learning community: https://t.me/GyaanSetuAi