FTCのDoNotPay制裁を受けAIの人間監督設計を4専門家が検証

米連邦取引委員会（FTC）は2025年2月、DoNotPayに19万3000ドルの和解金を科す最終決定を下しました。
AIの法的助言をめぐる問題を背景に、意思決定へ人間が介入する設計が注目されています。
米ZDNETは、ヒューマン・イン・ザ・ループ（HITL）に関わる4人の専門家へ実効性を聞きました。

記事の概要

FTCによると、DoNotPayはAIの法的助言を弁護士資格者の助言と比較検証していませんでした。
DoNotPayはサービス開始直後にも、カリフォルニア州で違法な法律サービスを提供したとして集団訴訟を起こされました。
AIの宣伝文句と実際の成果の差をめぐり、法的・倫理的な議論が広がっています。
大企業では、継続的な購買契約などの承認時に法的なグレーゾーンを避ける必要があります。
そのため、責任追跡性を備えた責任あるAIシステムへの市場ニーズが高まっています。
HITLは、AIエージェントが実行や応答生成をする前に、複雑な判断を人間へ回す設計パターンです。
医療、コンプライアンス審査、高額な金融取引、法的判断などが主な対象領域です。
SREアーキテクト兼AI信頼性エンジニアのAkash Thakur氏は、AIモデルの誤りを処理する仕組みが重要だと指摘しています。

記事のポイント

1. FTCがDoNotPayを制裁： FTCは2025年2月、弁護士資格者との比較検証をしていなかったDoNotPayに、19万3000ドルの和解金を科しました。
2. HITLは事前に人が審査： HITLはAIエージェントの実行や応答生成前に、複雑な意思決定を人間のレビューへ回す設計です。
3. モデル以外の処理が重要： Akash Thakur氏は、AIモデルの不確実性や誤りをシステムが処理する仕組みが重要だと指摘しています。

このニュースがもたらす影響

• 導入検討企業： AIの回答精度だけでなく、実行前にどの判断を人へ回すか、誰が承認したかを記録できるかまで含めて、導入条件を定める必要があります。
• AIサービス提供者： 法的助言など高リスク領域では、性能の訴求だけでは不十分になりそうです。専門家との比較検証や、誤りを検知して停止・引き継ぎする仕組みが競争力に影響すると考えられます。
• 法務・監査部門： AIの利用審査では、モデル単体の評価に加え、判断の境界や人間の介入時点、承認履歴を確認する役割が求められそうです。導入部門との責任分担も事前に定める必要があります。

このニュースの背景

DoNotPayが弁護士資格者による助言との比較検証をしていなかったことをFTCが問題視し、和解金につながりました。
AIの宣伝内容と実際の成果の差や、法的先例がない複合的な問題が議論されています。
こうした状況を受け、医療やコンプライアンス審査、高額な金融取引、法的判断などで、AIの実行前に人間が確認するHITLが注目されています。
専門家からは、モデルそのものだけでなく、不確実性や誤りをシステム側で処理する仕組みが重要だとの指摘が出ています。

関連するニュース

• リコージャパンはHermes AgentをオンプレLLM環境に搭載し、定型・非定型業務の自動化を支援します。

詳しい記事の内容はこちらから（引用元）

ZDNET Japan

4人の専門家が語る、AIの「ヒューマン・イン・ザ・ループ」実装術

企業向けAIでは「ヒューマン・イン・ザ・ループ」が必須になり、AIシステム設計者たちがリスクの高いAIワークフローに人間…