iKala、台湾向けAI評価基準「TMMLU+ v1.1」を更新

iKalaは、台湾の実情に即した繁体字中国語のAI評価基準「TMMLU+ v1.1」を公開しています。
TMMLU+ v1は66分野、22,690問を収録し、COLM 2024で発表されました。
今後は大規模言語モデルに加え、AIエージェントやマルチモーダル情報の処理能力も評価対象にします。

記事の概要

TMMLU+は、台湾の法制度や文化、社会的背景に基づいてAIの能力を測る評価データセットです。
iKalaは2023年、台湾で基盤モデル開発が進むなか、モデルの性能を測る基準づくりに取り組みました。
TMMLU+ v1は66科目の22,690問を収録し、前身のTMMLUから規模を6倍に拡大しました。
研究成果はCOLM 2024で正式に発表され、GoogleやMetaなどの研究チームにも採用されました。
v1.1では、法律・社会・政策・行政命令に関する設問を見直し、評価の有効性を維持しています。
iKalaは、TMMLU+をオープンソースで公開し、産業界や学術界が共同で検証・改善できる基盤を目指しています。
今後は、AIが意図を理解し、ツールやテキスト、画像、音声を使って業務を完遂できるかを評価します。

記事のポイント

1. 66分野を評価： TMMLU+ v1は台湾に関する66科目、22,690問を収録し、繁体字中国語モデルを評価します。
2. 台湾独自の基準： 法律や文化、社会背景を反映したデータで、単に中国語を扱えるだけではない理解力を測ります。
3. エージェントへ拡張： 今後は回答の正確さだけでなく、ツール利用やマルチモーダル処理による業務完遂能力も検証します。

このニュースがもたらす影響

• 導入検討企業： 台湾向けAIを選ぶ際、一般的なベンチマークの点数だけでなく、法制度や業務文脈への適合性をPoC前に確かめる評価設計が必要になりそうです。
• モデル開発企業： 共通の公開基準で比較されることで、繁体字中国語の知識量だけでなく、台湾固有の文脈理解や更新への追随が競争条件になる可能性があります。
• 台湾のAI産業： 産学官が同じ物差しを使い、データや評価方法を検証・改善できれば、台湾で使うAIの選定や信頼性判断を域内で行いやすくなると考えられます。

このニュースの背景

台湾では2023年、産官学による基盤モデル開発が進む一方、モデルの性能を誰がどの基準で測るかが課題になっていました。
繁体字中国語を扱えても、台湾の法制度や文化、社会背景まで理解できるとは限らず、一般的な言語性能だけでは実用性を判断しにくい状況があります。
さらに法律・政策などは時間の経過で内容が変わるため、評価データ自体を継続的に見直す必要があります。
AIの利用が回答生成から、ツールや画像・音声を含む業務遂行へ広がることで、正答率だけでなく現場での完遂能力を測る必要も生じています。

詳しい記事の内容はこちらから（引用元）

プレスリリース・ニュースリリース配信シェアNo.1｜PR TIMES

そのAI、どこまで"台湾"か？iKala 程世嘉：TMMLU+でソブリンAIの繁体字中国語評価基準を確立

iKala Japan 株式会社のプレスリリース（2026年9月14日 18時08分）そのAI、どこまで"台湾"か？iK…