実践的な ChatGPT 4 の活用
GPT-4 を使用して、SaaS 企業向けのチケットトリアージボットを構築しました。これにより、この技術が実社会でどのように機能するのかを学ぶことができました。
仕組み： OpenAI は、2つの段階を経てこれらのモデルを構築しています。まず、膨大なテキストデータセットを使用してモデルを事前学習（pre-train）させます。これにより、モデルは文法や事実を学習します。次に、人間がモデルを微調整（fine-tune）します。これにより、指示に従う方法や安全性を維持する方法を学習させます。
私の構成：
- Azure OpenAI エンドポイントを使用しました。
- レイヤーとして FastAPI を使用しました。
- 1リクエストあたりの制限を 2k トークンに設定しました。
- 繰り返されるクエリをキャッシュするために Redis を使用しました。
結果： 短いメッセージの場合、レイテンシは約 350ms でした。長いメッセージでは最大 1.2s までスパイクが発生しました。そのため、高負荷時にはキーワード分類器を使用せざるを得ませんでした。コストも高額でした。1つのサポートチャネルだけで、月に 2,000ドルを費やしていました。
リスク： モデルは間違いを犯します。長いチャットでは文脈を見失うことがあります。また、誤った事実を高い自信を持って述べてしまうことがあります。これはハルシネーション（幻覚）と呼ばれます。
解決策： Pinecone ベクトルストアを使用して、検証ステップを追加しました。
- モデルが回答を生成します。
- その回答を、厳選されたナレッジベースと照合します。
- 類似度スコアが 0.78 未満の場合、人間が内容を確認します。 このフィルターにより、誤った記述の 42% を検知できました。ただし、レスポンスタイムは 120ms 増加しました。
モニタリングの重要性： エラー率とトークン使用量を追跡するために、Prometheus と Grafana を使用しました。ハルシネーションがトラフィックの 5% を超えた場合に PagerDuty のアラートが作動するように設定しました。これにより、さらなる被害が出る前に、不適切なプロンプトテンプレートを修正することができました。
結論： GPT-4 は魔法ではありません。作業をスピードアップさせるためのツールです。コーディング、要約、執筆などに活用してください。重要な事実については、自分自身で確認せずにそのまま信じ込まないようにしてください。
Source: https://dev.to/lavkeshdwivedi/chatgpt-4-3hi6
Optional learning community: https://t.me/GyaanSetuAi