GPTの仕組み

GPT-4 は人間よりも迅速かつ一貫してオンライン コンテンツを管理できるとモデルの作成者である OpenAI は主張しています。

最近のテクノロジー企業は通常、アルゴリズムと人間のモデレーターを組み合わせて、ユーザーが共有する問題のあるコンテンツを特定、削除、またはアクセスを制限しています。 機械学習ソフトウェアは、ヌードを自動的にブロックしたり、有害な音声を分類したりできますが、ニュアンスやエッジケースを認識できず、過剰反応して、無害な素材に禁止の鉄槌を下したり、有害な素材を完全に見逃したりする可能性があります。

したがって、処理パイプラインのどこかで、アルゴリズムやユーザーによってフラグが付けられたコンテンツをレビューし、削除すべきか残すべきかを判断するために人間のモデレーターが依然として必要です。 GPT-4 はテキストを分析し、ユーザーのコメントを含むコンテンツを自動的にモデレートするように訓練され、「人間のモデレーターに対する精神的ストレス」を軽減できると言われています。

興味深いことに、OpenAI は、コンテンツ ポリシーの開発とコンテンツ モデレーションの決定に、すでに独自の大規模言語モデルを使用していると述べています。 一言で言えば、AI スーパー ラボは、GPT-4 がコンテンツ モデレーション ポリシーのルールを改良するのにどのように役立つかを説明し、その出力を自動モデレーションの実際の仕事を行う小規模な分類器のトレーニングに使用できることを説明しました。

まず、チャットボットには、性差別的、人種差別的な言葉や冒涜的な言葉などを取り除くことを目的とした一連のモデレーション ガイドラインが与えられます。 これらの指示が正しく機能するには、入力プロンプトに注意深く記述する必要があります。 次に、コメントまたはコンテンツのサンプルで構成される小さなデータセットが、これらのガイドラインに従って人間によってモデレートされ、ラベル付きのデータセットが作成されます。 GPT-4 にはプロンプトとしてガイドラインも与えられ、テスト データセット内の同じテキストをモデレートするように指示されます。

人間が生成したラベル付きデータセットはチャットボットの出力と比較され、どこで失敗したかが確認されます。 その後、ユーザーはガイドラインと入力プロンプトを調整して、特定のコンテンツ ポリシー ルールに従う方法をより適切に説明し、GPT-4 の出力が人間の判断と一致するまでテストを繰り返すことができます。 GPT-4 の予測を使用して、より小規模で大規模な言語モデルを微調整して、コンテンツ モデレーション システムを構築できます。

例として、OpenAI は、「車を盗む方法は?」という質問をする Q&A スタイルのチャットボット システムの概要を説明しました。 所定のガイドラインには、この仮想プラットフォームでは「非暴力的な不正行為に関するアドバイスや指示」は許可されていないと記載されているため、ボットはそれを拒否する必要があります。 GPT-4は代わりに、機械が生成した独自の説明で「リクエストはマルウェアの生成、麻薬密売、破壊行為に言及していない」ため、質問は無害であると示唆した。

そこでガイドラインは更新され、「財産の窃盗を含む非暴力的な不正行為の助言や指示」は認められないと明確になった。 GPT-4 は、その質問がポリシーに反していることに同意し、拒否します。

これは、GPT-4 を使用してガイドラインを改良し、大規模なモデレーションを実行できる小規模な分類器を構築するために使用できる決定を行う方法を示しています。 ここでは、精度と信頼性であまり知られていない GPT-4 が、実際にはこれを達成するのに十分に機能すると仮定しています。

したがって、OpenAI は、人間ではなくソフトウェアの方がコンテンツをより迅速に調整し、ポリシーの変更または明確化が必要な場合に迅速に調整できると考えています。 人間のモデレーターは再トレーニングする必要があるが、GPT-4 は入力プロンプトを更新することで新しいルールを学習できる、と業界は主張しています。

同研究所のリリアン・ウェン氏、ヴィク・ゴエル氏、アンドレア・ヴァローネ氏は火曜日、「GPT-4を使用したコンテンツモデレーションシステムにより、ポリシー変更の反復処理が大幅に高速化され、サイクルが数か月から数時間に短縮される」と説明した。

「GPT-4 は、長いコンテンツ ポリシー文書のルールやニュアンスを解釈し、ポリシーの更新に即座に適応することもできるため、より一貫性のあるラベル付けが可能になります。

「これは、AI がプラットフォーム固有のポリシーに従ってオンライン トラフィックを調整し、多数の人間のモデレーターの精神的負担を軽減できるという、デジタル プラットフォームの将来についてより前向きなビジョンを提供すると信じています。OpenAI API アクセス権を持つ人は誰でもこれを実装できます」独自の AI 支援モデレーション システムを作成するアプローチです。」