Ememe、作業映像をロボット学習用データに変換する基盤

Ememeは10月27日、作業映像からロボット学習用のモーションデータセットを作る「Ememeパイプライン」の提供を始めました。
工場のカメラ映像やオープン動画から、手の動きと動作の意味を示すテキストラベルを抽出します。
ヒューマノイドやロボットハンドのVLAモデルの追加学習に使えるデータとして提供します。

記事の概要

Ememeパイプラインは、人の作業動画を入力するとVLAモデルの学習用データセットを出力するサービスです。
入力動画から、学習に利用できるシーンだけを選別します。
映像から取り出した動作を、ロボットの追加学習に使える形式へ整えます。
追加学習後のロボットを撮影し、AIが失敗したタスクや改善点を特定する機能も備えます。
新たな撮影や人による遠隔操作を増やさず、既存の工場映像やオープン動画を活用できます。
NVIDIAのヒューマノイド向け基盤モデル「Isaac GR00T」を使った社内検証では、同社のモーションデータを併用したモデルが、ロボットの実演データだけで追加学習したモデルより複雑な両手操作タスクで高い成功率を示しました。
顧客の映像に加え、目的に応じて選んだオープンライセンス動画からもデータセットを作成します。
機密性の高い工場映像向けに、顧客のサーバーやクラウド環境へ導入するクローズド運用にも対応します。

記事のポイント

1. 既存映像を学習資産化： 工場のカメラ映像やオープン動画から、ロボット学習に使える動作データを作成します。
2. VLAモデルを改善： 動作データの作成に加え、ロボットの失敗タスクを特定し、改善点の提案まで行います。
3. 機密映像を閉域処理： 顧客のサーバーやクラウド環境に導入し、工場映像を社外に出さずに処理できます。

このニュースがもたらす影響

• 導入検討企業： 工場映像を新たな収集工程に回さず学習資産として評価できるため、ロボット導入では撮影・遠隔操作の追加負担と閉域処理の要件を同時に検討することになりそうです。
• ロボット開発企業： 実演データの収集量だけで競うのではなく、人の作業映像を学習形式へ変換し、失敗分析までつなぐデータ供給力がモデル改善の差別化要素になる可能性があります。
• 製造R&D部門： 既存カメラ映像とオープンライセンス動画を組み合わせられるなら、タスクごとのデータ不足を補う選択肢が増え、映像選別や機密管理を開発計画に組み込む必要がありそうです。

このニュースの背景

ロボットに人の作業を学習させる際は、遠隔操作による実演データの収集が中心ですが、量を増やすほど人手とコストがかかります。
一方、工場のカメラ映像やインターネット上の動画には人の作業が記録されているものの、整理されていないため、そのままではロボット学習に使いにくい状況でした。
今回の基盤は、既存映像をモーションデータセットへ変換し、追加学習後のロボットの失敗分析までつなげることで、データ収集から改善までの工程を補おうとするものです。

関連するニュース

• EmplifAIは、表情・音声による対人インタラクションと双腕作業を検証できる28軸の移動型ヒューマノイド「OpenShell」を開発しました。

詳しい記事の内容はこちらから（引用元）

作業映像からPhysical AI 学習用モーションデータセットを作る 「Ememeパイプライン」を提供開始

株式会社Ememe(代表取締役CEO：小島 由香)は、人の作業動画からロボットの学習用モーションデータセットを大規模に作…