GUIエージェントとは？AppenのGUI Tracker

GUIエージェントとは？

GUIエージェント（Graphical User Interface Agent）とは、人間がPCやスマートフォンの画面上で行う操作を自動で代行するAIシステムを指します。

従来、人間が手動で行なっていたクリック、文字入力、スワイプなどの操作を、AIが理解・実行するものです。

GUIエージェントの仕組み

GUIエージェントのこの仕組みは、マルチモーダル知覚モデルと大規模言語モデル（LLM）によって構築され、ユーザーが自然言語で入力した指示を解釈し、適切な画面操作を行います。

GUIエージェントの核となる機能は、ユーザーの操作の意図を理解し、その動作を正確に実行することにあるため、膨大かつ高品質なトレーニングデータが不可欠です。データ品質がGUIエージェントの精度や信頼性に直結します。

GUI（グラフィカル・ユーザー・インタフェース）とは？

GUI（Graphical User Interface）とは、PCやスマートフォンなどのデバイスで、アイコンやボタンなどの視覚的要素を使って操作できる仕組みを指します。文字入力による操作とは異なり、直感的に使えるものです。

GUIエージェントが行う主な操作

GUIエージェントは、次のような流れで人間の操作を自動化します。

画面を認識する

画面上の文字、ボタン、アイコンの位置や現在の状態を正確に把握します。

操作を判断する

ユーザーから与えられた自然言語の指示を解析し、「どの要素を、どの順番で、どう操作するべきか」を決定します。

操作を自動的に実行する

クリック、文字入力、スクロール、スワイプなどの操作を自動的に実行します。

操作結果を確認する

実行した操作によって画面が想定通りに変化しているかを確認し、次の操作に移る。異常やエラーが発生している場合は、再思考や代替操作を行います。

主要なGUIエージェント

GUIエージェント市場の新時代を切り開く注目のGUIエージェントを紹介します。

Monicaの「Manus」

Manusは、中国のスタートアップ企業 Monicaが2025年3月に発表した自律型AIエージェントです。

MonicaのManusは、効率的なインタフェース操作能力と正確なタスク実行能力を備えており、日常的な画面操作から高度な業務処理まで、幅広く対応することが可能です。

参考：https://manus.im/ja/home

OpenAIの「Operator」

OpenAI Operatorは、生成AI分野をリードするアメリカのスタートアップ企業 OpenAIが2025年1月に発表したGUIエージェントです。

OpenAIのOperatorは、ユーザーに代わってWebブラウザにアクセスし、Webサイトの閲覧、文字入力、クリック、スクロールなどの動作を自動で実行します。ブラウザで行う反復的な作業を自動化することができ、業務効率化に貢献します。

2025年7月には、ChatGPTエージェントとして完全統合され、簡単に利用することが可能です。

参考：https://openai.com/ja-JP/index/introducing-operator/

ByteDanceの「UI-TARS」

UI-TARSは、世界的人気アプリ TikTok の開発・運営会社として知られる ByteDanceが発表したオープンソースのGUIエージェントです。

ByteDanceのUI-TARSは、テキストデータではなく、画面のスクリーンショットを解析して操作を行うピュアビジョン方式を採用し、人間が画面を見て操作する感覚に近い仕組みを実現しています。

UI-TARSはオープンソースでGitHubで公開されているため、自由にカスタマイズや検証を行うことが可能です。

参考：https://seed-tars.com/

Zhipu AI（智譜AI）の「AutoGLM」

AutoGLMは、中国のAIスタートアップ企業 Zhipu AI（智譜AI）が2025年3月に発表した自律型AIエージェントです。

Zhipu AIのAutoGLMは、Web検索、旅行プランの作成、研究レポートの執筆など、幅広いタスクを完全自律で実行できます。

参考：https://xiao9905.github.io/AutoGLM/

GUIエージェント開発に不可欠なデータとは？

高度なGUIエージェントを開発するためには、正確かつ多様なユーザーインタフェース操作データの収集が欠かせません。このデータは、エージェントが複雑な指示を理解し、異なるアプリや環境にも適応できる能力を身につけるための基盤となります。

このデータの正確性・多様性・シナリオ網羅性こそが、エージェントの知能レベルや汎用性を左右します。

GUIエージェントの性能を左右する重要な要素

• 正確性：実際のユーザー操作を正確に反映したデータであること。
• 多様性：異なるアプリケーション、デバイス、操作パターンを幅広く含むこと。
• シナリオ網羅性：日常的な利用から専門業務での活用まで、幅広いユースケースにカバーしていること。

これらの重要な要素を満たした高品質なユーザーインタフェース操作データが、GUIエージェントの性能を決定づけると言っても過言ではありません。

Appenのツール「GUI Tracker」とは？

Appen は、GUIエージェントの学習・最適化に不可欠なGUIインタラクションデータを効率的に収集するためのツール 「GUI Tracker」 を開発しました。

GUI Trackerは、PCとスマートフォンでのクリック、スワイプ、文字入力、さらには複雑な指示実行までを正確に記録し、GUIエージェントの学習に最適なデータを生成するツールです。

GUI Trackerは、AppenのMatrixGoプラットフォームに統合されており、ユーザー操作イベントを自動で記録可能。これにより、大規模AIモデル開発におけるデータ収集の効率と精度を大幅に向上させます。

さらに、Appenは、データ収集からアノテーション、品質管理までのAI開発ライフサイクル全体を支援し、GUIエージェントを含むAIアプリケーションの大規模展開を後押ししています。

GUI Trackerには、次の３つの主要機能があります。

• シナリオベースのアノテーション
• 多層的な意味理解によるインタラクション記録
• クロスプラットフォーム対応

機能１：シナリオベースのアノテーション

AppenのGUI Trackerは、従来の単純な操作記録を超え、タスク意図（マクロレベル）と操作手順（ミクロレベル）をマッピングして記録します。

たとえば「GitHubで最もスター数の多いDeeSeekプロジェクトを探す」という指示を設定すると、それを「マクロなタスク」から「ミクロな操作」に分解します。

具体的には、次のように具体的な操作に分解し、タスク階層構造を持つアノテーションデータとして記録します。

• GuiHubにアクセスする
• 検索バーを開く
• 「DeepSeek」と入力する
• 検索ボタンをクリックする

このように、GUI Trackerはタスク階層構造を持つアノテーションデータを生成し、エージェントが複雑なタスクの背後にある論理的な流れを理解できるようにします。結果として、エージェントのタスク実行精度や知能レベルが大幅に向上します。

機能２：多層的な意味理解によるインタラクション記録

AppenのGUI Trackerは、Visual（画面キャプチャ）、Behavioral（操作軌跡）、System（イベントログ）の三層構造でデータを収集します。

記録対象の例

• マウス操作：左クリック、右クリック、ダブルクリック、ドラッグ、スワイプ
• キーボード入力：単キー入力、複数キー同時押し
• スマホ操作：スワイプ、タップ

さらに、GUI要素の属性と操作イベントを紐づけ、「Action → Control → Response」の意味マップを生成。これにより、エージェントは「GUIコンポーネントを認識→機能を理解→適切な操作を選択」という推論プロセスを実現できます。

機能３：クロスプラットフォーム対応

AppenのGUI Trackerは、PC、スマートフォン、タブレットといった複数デバイスでの統一フォーマットのデータ収集・アノテーションに対応。

PCでのマウス軌跡やキーボード入力、モバイルでのタップやスワイプ操作を正確に記録・ラベル付けできます。

これにより、クロスデバイスで一貫性のある操作データセットを構築でき、エージェントの汎化性能（Generalization Ability）を最大化。

特に、同一タスクのPC版とモバイル版の操作フロー差異を統一的に扱えるため、マルチプラットフォーム適応型AIモデルの学習に最適です。

GUI Trackerの主な活用シナリオ

GUI Tracker は、業務効率化からリサーチ学術研究、日常生活の自動化まで、幅広い分野で活用可能です。ここでは、代表的な3つの活用シナリオをご紹介します。

産業用GUIエージェント

従来のRPA（Robotic Process Automation）は、スクリプトや定型フローに依存するため、柔軟なタスク対応が難しいという課題がありました。GUI Trackerを活用することで、音声入力＋ビジュアル理解を組み合わせたGUIエージェントが実現可能です。これにより、サプライチェーンや生産管理といった複雑な業務においても、状況に応じた柔軟な自動化が可能になります。結果として、インテリジェントRPAへの進化を促進し、産業分野での業務効率を飛躍的に向上させることができます。

学術研究用GUIデータセット

HCI（Human-Computer Interaction）、認知科学、マルチモーダル学習などの研究分野に向けて、多様かつ高品質のGUI操作データを提供します。ユーザー操作パスの定量化により、操作パターンや行動モデルの分析が可能になり、新たな理論構築やアルゴリズム開発を支援します。

日常業務・生活の自動化

日常的なPC・モバイル操作を自動化し、時間コストの削減を実現します。事務処理（コピー、出力、レポート生成）やEC注文などを効率化し、時間コストを削減。

クロスプラットフォーム対応により、オフィス、リモートワーク、モバイル環境のすべてで同じ自動化ワークフローを利用できます。

まとめ

GUIエージェントは、これからの業務効率化や産業自動化を支える重要なAI技術です。

その性能を最大限に引き出すには、高品質かつ多様なインタラクションデータの収集が欠かせません。

AppenのGUI Trackerは、シナリオベースのアノテーション、多層的な意味解析によるインタラクション記録、クロスプラットフォーム対応といった強力な機能を備え、GUIエージェント開発を包括的に支援します。特に、マルチモーダルLLMや産業レベルの自動化システムを構築する開発者にとって、GUI Trackerは高精度・高網羅性データを効率的に取得できる最適解です。

今後、GUIエージェントの高度化や汎化を目指すプロジェクトでは、こうした高機能なデータ収集ツールの導入が競争力の鍵を握るでしょう。