機械翻訳や音声アシスタント、チャットボットなど身の回りの様々なシーンでAIが使われています。本記事では、そうしたAIの仕組みを知るために欠かせない、テキストアノテーションについて、わかりやすく解説していきます。
テキストアノテーションとは
テキストアノテーションとは、文章やSNS投稿文などのテキストに対し、タグやメタデータなどのラベル付けをする作業のことです。ラベルには、特定の商品名や企業、言葉が意味する感情や意図などがあります。ラベル付けされたデータは、教師データ（学習データ）と呼ばれ、AIを構築する機械学習に活用されます。
テキストアノテーションの活用例
テキストアノテーションの目的は、機械が人間の自然な言葉を理解できるようにすることです。これは自然言語処理（NLP）として知られています。そのため、アノテーションは、正確かつできるだけ多くのパターンを網羅している必要があります。テキストアノテーションが不十分だと、機械は人間の言葉をうまく理解することができません。
例えば、ネット通販サイトでチャットボットに「昨日注文した商品の状況を確認したい」と聞いた時、「登録が確認できません」と回答したら、明らかに機械が質問を理解できておらず、より正確な教師データでモデルを再トレーニングする必要があります。
正確にラベル付けされた教師データで学習させることで、機械は人間と自然なコミュニケーションをとったり、単調な繰り返し作業を人間に代わって行うことができます。テキストアノテーションは、チャットボットやスマートアシスタント、機械翻訳、関連性の高い検索結果などで活用されています。
テキストアノテーションの種類
テキストに対するアノテーションには、感情、意図、意味、関係など、さまざまな種類があります。
セマンティックアノテーション
人、場所、話題などの概念や実体を参照するために、テキストにさまざまなラベル付けを行います。
センチメントアノテーション
テキストに含まれる態度や感情を、ポジティブ、ネガティブ、ニュートラルというラベルを付けて評価します。
インテント（意図）アノテーション
テキストの背後にあるニーズや欲求を分析し、要求、命令、確認などのいくつかのカテゴリに分類します。
テキストアノテーションを行うには？
テキストアノテーションを行うには、人間のアノテーターが必要です。特にセンチメントデータは、文脈によってニュアンスが異なることもあり、人間のアノテーターが重要となります。
ただ、人間がアノテーションを行う場合には、リソース不足でアノテーション作業に時間がかかったり、アノテーターの経験や知識によりアノテーションの質にばらつきが出てしまうといった、デメリットがあります。その場合、ラベリング済みの既成データや、アノテーションツールを活用したり、大規模かつ様々なデータに対応したアノテーションサービスの利用も考えてみると良いでしょう。
アノテーション専門家による３つのアドバイス
Appenでは、アノテーションを活用した最先端のAIモデル構築を支援するために、専門のチームがいます。Appenのプロダクトマネージャーであるヤオ・シュウは、アノテーションに関して以下のアドバイスを述べています。
必要なデータを定義する
テキストレベルのラベル付けなのか、一からデータ収集をする必要があるのか、などモデルの教師データとしてどのようなアノテーションが必要かを定義します。
データ量とデータ準備期間を考える
アノテーションを行う上で、データ量と必要なデータスループットは、重要な要素です。小規模や短期のプロジェクトであれば、オープンソースのツールやセルフサービスのアノテーションツールを利用するのがよいかもしれません。長期的に大規模な教師データが必要になる場合は、長期的に使えるツールやサービスを利用することをおすすめします。
専門知識が必要なデータか
専門的な領域や、日本語以外のテキストデータでは、アノテーターに関連知識やスキルが必要になる場合があります。逆に言えば、必要な知識がないと、アノテーションの規模を拡大する際に、足かせとなる場合があります。専門的な領域を扱う場合には、要件を満たすことができる適切な企業やサービスを選択することが重要になります。
テキスト以外のデータを考慮
画像、音声、動画からテキストデータを抽出することも可能です。その場合、使用しているアノテーションツールやサービスが、非テキストデータからの転写タスクを処理できるか確認する必要があります。
Appenのテキストアノテーションサービス
Appenは、継続的なAIの学習や改善に欠かせない画像、文章、発話、音声、映像、その他のデータを収集、アノテーションを行うサービスを提供しています。100万人以上の熟練したクラウドワーカーからなる、グローバルネットワークを活用し、偏りの少ない高品質な教師データを、大規模かつ迅速に提供します。
詳細については、以下のフォームもしくは、contact-japan@appen.comまでメールでお問い合わせください。
