データアノテーションを最適化する集団的知性と動的判断

AI開発には、Human-in-the-Loop（HITL、ヒューマン・イン・ザ・ループ）と呼ばれる、AIの判断やプロセスに対して、人間が意図的に関与する設計思想があります。

集団的知性（Wisdom of Crowd）とは？

集団的知性（Wisdom of Crowd）とは、多くの人が協力して知識、アイデア、意見、判断を共有し、より優れた知性を集団的に生み出す考え方を指します。

個々の専門家による判断と同等、あるいはそれ以上の正確な結論や最適な解決策が得られることを期待する概念で、日本語では「集合知」「集団知能」「群衆の叡智」「衆知」とも呼ばれます。

この概念は、古代ギリシャの哲学者アリストテレスの時代にまで遡ります。20世紀初頭には、統計学者であるフランシス・ゴルトンによってその有効性が実証され、広く知られるようになりました。

ゴルトンによる実験「Vox Popul」

1907年、フランシス・ゴルトンは、ある家畜の品評会で約800人の参加者に牛の体重を推測させるという実験を行いました。

実験の結果、参加者の推測値の中央値は1,207ポンドで、実際の体重である1,198ポンドと比べて誤差は1%未満という非常に正確な結果になりました。

この結果は、専門家でない一般の人々の意見を集約することで、単一の専門家と同等、あるいはそれ以上に正確な結果が得られる可能性があることを示しています。

参考：https://zenodo.org/records/2125755

Wikipedia、Quora、Redditなどのコミュニティベースのオンラインメディアも、「集団的知性」を基盤としています。これらのプラットフォームでは、不特定多数のユーザーが情報を投稿、編集、評価することで、集合的な知識が構築され、多様な視点からの情報が共有されています。

データアノテーションにおける集団的知性の活用

集団的知性（Wisdom of Crowd）の考え方は、AI開発に不可欠なデータアノテーションの分野でも活用されています。

特に、高度な専門知識を必要としないアノテーションタスクにおいて、訓練された複数の作業者から意見を集めることで、非常に質の高いアノテーション成果を得ることが期待できます。このアプローチは、クラウドソーシング型のデータ収集において非常に有効的です。

適切な量の見極め

ここで重要になるのが、「信頼性の高い判断を得るために、一体どれくらいの数の意見（判断量）を集めるべきか」という点です。ただ単に多くの意見を集めれば良いというわけではありません。コスト、求めるデータ品質、アノテーション作業の範囲（スコープ）といった要素のバランスを慎重に考慮し、最適な判断量の見極めが重要になってきます。

適切な判断量の設定は非常に難しく、例えばコンテンツモデレーションのような複雑かつ主観的なタスクでは、1つのデータユニットに対して最大10件程度の判断量を集めることが一般的です。一方で、より単純なタスクでは、より少数で済むこともあります。それでも意見の不一致が起こる可能性はあります。

もし、「常に3件の判断を集める」とルールを設定していても、その3件の意見が一致しなければ最終的なラベルを確定できず、結果としてその作業コストが無駄になる可能性があります。常に10件の判断を集めれば意見の一致は得やすくなるものの、必要以上の判断数では品質の向上に繋がるとも限らず、逆にコストの浪費となってしまいます。

動的判断による最適化

このような課題に対して有効なのが、「意見が一致した時点で判断の収集を終了する」という動的判断（Dynamic Judgment）です。この手法を導入することで、不要な意見収集を避けつつ、必要な精度を確保できるため、コスト効率とデータ品質の両立が可能になります。

AppenのAIデータアノテーションプラットフォーム（ADAP）には、Dynamic Judgement機能が搭載されており、アノテーションのユニットごとに判断数の最小値と最大値を細かく設定できるほか、プロジェクトの要件に応じた詳細なカスタマイズにも柔軟に対応しています。

コストと信頼性のバランス

データアノテーションを進める上で、いかに効率よく、高品質なデータを手に入れるかは大きな課題です。これを解決するために、アノテーションの判断数をどのように設定するかが鍵となります。ここでは、２つのアプローチをご紹介します。

判断数の上限・下限を設定する

このアプローチでは、1つのデータユニットに対する判断の最大数を事前に設定します。例えば、「最低3件、最大5件」のように設定します。

メリット

アノテーション作業者の意見がすぐに一致した場合、最小限の判断数でアノテーションが完了するため、コスト削減・迅速化につながります。比較的意見が一致しやすいタスクに適しています。

デメリット

意見が一致するまでの判断数がデータユニットによって異なるため、結果として各データユニットの信頼性にばらつきが出る可能性があります。

例えば、あるユニットは3件の判断で合意に至るかもしれませんが、別のユニットは5件すべて集めてもギリギリであるといったケースも考えられます。

信頼度スコアの目標値を設定する

このアプローチでは、信頼度スコアの目標値を設定し、それに達するまで、継続して判断を収集します。例えば、「信頼度スコアが0.8になるまで判断を集める」といった設定を行います。

信頼度スコアとは、アノテーション結果の信頼性を示す指標です。AppenのAIデータアノテーションプラットフォームでは、自動で計算され、アノテーション作業者間の合意度を、各作業者の信頼度で重み付けして算出します。これは、複数の専門家がどれだけ同じ意見に達したかを示す「インターアノテーター・アグリーメント」という考え方に似ています。

メリット

設定した信頼度スコアの目標値に到達するまでアノテーション作業を続けるため、ユニット間の信頼性が一貫して高くなります。特に、高い品質が求められる場合や、判断が分かれやすい主観的な場合に有効です。

デメリット

意見がなかなか一致しないユニットでは、目標値に達するまでに多くの判断が必要となり、コストが増加する可能性があります。

適切なアプローチを選択する

どちらのアプローチを選ぶかは、プロジェクトで何を最も優先するかによって決まります。コストを重視する場合、判断数を固定する方法が適している可能性があり、データの品質、特に信頼性の一貫性をより重視したいなら、信頼度スコアを設定する方が適しているはずです。

プロジェクトの性質、コスト、求めるデータ品質といった要素のバランスを慎重に考慮し、最適な判断量の見極めが重要になってきます。

複雑なジョブ設計への対応

アノテーションのジョブが複雑になるにつれて、単純にコストか信頼性かの二者択一では対応しきれない場面が出てきます。AppenのAIデータアノテーションプラットフォームでは、そのような複雑なジョブ設計にも対応できるよう、判断数の収集方法をさらに細かく調整できます。

複合的なタスクにおける動的判断の適用

複雑なジョブでは、1つのデータユニットの中に複数の質問が含まれることがあります。このような場合、動的判断をジョブ全体に一律に適用するのではなく、どの部分に適用するかを選択的に指定することが重要になります。AppenのAIデータアノテーションプラットフォームでは、ジョブ設計者がこの適用範囲を自由に設定できます。

例えば、ある画像アノテーションのタスクで、「画像に写っているのがチワワかマフィンかを分類する」という質問と、「画像内の対象物の個数を数える」という質問の両方があるとします。

この場合、分類の質問にだけ動的な判断収集を適用し、アノテーター間の合意が得られた時点で次の判断収集を終了できます。一方で、個数を数える質問は固定の判断数で対応する、といった設定、両方の質問でアノテーター間の合意がとれるまで判断を継続する、という設定もできます。

この柔軟性によって、タスクの特に重要で意見が分かれやすい部分に絞って効率的に合意を形成し、全体のコストを最適化しつつ、データの信頼性を高めることが可能になります。

動的判断がプロジェクトにもたらす価値

集団的知性という概念を活用することで、アノテーション作業者の合意を通じて信頼できる判断が得られます。AppenのAIデータアノテーションプラットフォームの動的判断機能（Dynamic Judgment）は、信頼度スコアを設定することで、AIデータ収集を動的に調整し、無駄な判断を最小限に抑えつつ品質を最大化します。このアプローチにより、効率性の向上、コスト削減、高品質で一貫したアノテーションを期待できます

Appenのソリューション

Appenは290以上の言語に対応する100万人以上のグローバル人材と、28年以上の経験を持つエキスパートを擁し、お客様のニーズに応じたAIデータサービスを提供してます。

AIデータサービス

Appenは、AIデータ業界のグローバルリーダーとして、28年以上にわたり、290以上の言語・方言に対応した高品質なデータを提供してきました。データクリーニング、データセット、データ収集、データアノテーションなど、お客様のAIモデル開発に必要な一連のサービスを提供しています。詳しくはこちらをご覧ください。

ファインチューニング

100万人以上のクラウドワーカーと経験豊富な専門チームが、お客様のモデルを最適化するためのファインチューニングと、人間とAIのフィードバックによる学習（RLHF）を支援します。バイアスを最小限に抑え、高性能なモデル開発を実現します。

大規模言語モデル開発プラットフォーム

Appenが独自に開発した大規模言語モデル開発プラットフォームは、大規模言語モデルの開発プロセスを効率化します。トレーニング、ファインチューニングだけでなく、開発に必要なさまざまなツールを提供し、迅速なモデル開発をサポートします。