CACTUS TOKYOは、音声入力アプリ4製品を評価する公開ベンチマーク「ja-dictation-bench v1」を公開しました。
ビジネスシーンの文章131問を使い、話し言葉がそのまま送れる文章になるかを測定しました。
Typelessは91.3点、SayonaraTypeは89.7点でした。
問題や採点基準、問ごとの判定理由も公開しています。
記事の概要
「ja-dictation-bench v1」は、音声入力から文章の整形までを評価するベンチマークです。
チャット60問、記録46問、メール13問、AIへの指示12問の計131問で構成されています。
音声は6種類の合成音声を使い、実在する人の声は含んでいません。
意味、言いよどみと言い直し、構造、表記の4層を、46項目のルーブリックで採点しました。
機械による検査と2つのLLMによる二重採点を行い、判定が分かれた箇所は人が確認しました。
2026年11月の測定では、Typelessが91.3点、SayonaraTypeが89.7点でした。
Aqua Voiceは設定別に57.8点と58.4点、Wispr Flowは57.6点でした。
CACTUS TOKYOはSayonaraTypeの開発元であり、第三者機関による評価ではないと説明しています。
記事のポイント
- 4層46項目で採点: 意味の保存や言いよどみの除去、構造、表記を評価し、総合点を算出しています。
- 製品別の測定結果: 有料版で辞書を登録しない条件を使い、4製品・5設定を共通問題で比較しています。
- 評価の限界も公開: SayonaraTypeの開発元が実施し、合成音声や同一問題による選定の影響を明記しています。
このニュースがもたらす影響
- 導入を検討する企業: 自社の声質や業務文書で、固有名詞・数字・否定・言い直しが保たれるかを試し、公開ベンチマークの点数だけでなく修正工数まで調達基準に加える必要がありそうです。
- 音声入力各社: 製品間の差を同じ問題と基準で比較できるため、各社には出力品質の評価条件や判定理由を示し、特定ベンダーに有利にならない検証方法を整えることが求められそうです。
- 評価・調達担当者: 合成音声・辞書なし・特定版という条件や、開発元自身による評価である点を踏まえ、肉声や更新後の構成を含む再測定なしには性能差を確定しにくいと考えられます。
このニュースの背景
従来の音声入力評価では、音声をどれだけ正確に文字化できるかが中心になりがちでした。
一方、ビジネス用途では、言いよどみや言い直しを整理し、チャットやメールとしてそのまま送れる形にできるかも重要になります。
今回のベンチマークは、意味・話し言葉の整理・構造・表記を46項目で評価し、問題や期待出力、判定理由まで公開しています。
ただし、測定対象の開発元が実施し、合成音声と辞書なしの条件を用いているため、結果の読み取りには条件の確認が必要です。
関連するニュース
詳しい記事の内容はこちらから(引用元)
株式会社CACTUS TOKYOのプレスリリース(2026年11月12日 10時00分)【音声入力アプリ4製品の日本語入…
https://prtimes.jp/main/html/rd/p/000000004.000127279.html