大規模言語モデル開発プラットフォーム

アノテーションツール

アノテーションプラットフォームが様々なデータ要件に柔軟に対応。コーパスの生成、マルチモーダルコーパスの手動編集、結果の並び替え、結果の評価、エラーのタグ付け、カスタムコーパス属性などのアノテーションタスクに対応します。

ワークフローエンジン

Appenの豊富なプロジェクト管理経験に基づいて構築されたパワフルなワークフローエンジン。プロジェクト要件に応じてアノテーションや品質管理プロセスを簡単に設定できます。ノードの詳細なデータ統計をサポートし、効率的で高品質なデータ作成を実現します。

自動アノテーションアルゴリズム

Appenの大規模言語モデル開発プラットフォームは、データアノテーションプラットフォームのAIアノテーション機能を統合。自動アノテーションアルゴリズムを搭載し、コンテンツ評価やコンテンツ書き換えなど大規模言語モデルのファインチューニングをサポートします。

データプロセッシング

データ有効性評価やデータクラスタリングなど、効率的なデータプロセッシングを促進する機能を搭載。

データ分析

データ分析機能を搭載し、データセットの統計分析が可能。データ分布と最適化を視覚的に捉えることができます。

データ検索

データ検索機能を搭載。多次元検索対応の検索アルゴリズムにより、ターゲットデータをスピーディーに識別することが可能。

モデルチューニング

ファインチューニング、プロンプトエンジニアリング、検索拡張生成など様々なチューニング手法に対応。チューニングの進行状況を直感的に管理するタスク管理機能を搭載しています。

モデル評価

モデル出力の有用性、関連性、正確性、一貫性を評価。モデルとタスクの適合性を確認し、A/Bテストまたはベンチマークテストを行い、入出力の継続的な改善を促進します。

モデルのデプロイメント

ワンクリックのデプロイメント機能を搭載。訓練済みアルゴリズムをワンクリックでデプロイ、SDKにパッケージすることができます。また、APIを介して外部にサービス提供することもできます。

計算タスク管理

トレーニングタスクと推論タスクを含む統合管理インターフェース。NVIDIAのような計算資源プロバイダと統合することが可能です。ユーザーは要件に基づいたタスクの優先順位付けを行い、計算タスクの実行ステータスをモニタリングできます。

計算資源スケジューリング

計算資源のステータスを視覚的に表示するインターフェース。タスクの優先順位と計算資源の可用性に基づいて計算タスクの実行を自動的にスケジュールします。