Google、第8世代TPUに大容量処理と機密保護の2製品を追加

Googleは11月10日、第8世代のAI向けアクセラレータ「TPU」に2つのシステムを追加すると発表しました。
大規模なコンテキスト処理に対応する「TPU 8i Max」と、機密データの推論処理に適した「TPU 8tx」を提供します。
既存のTPU 8iとTPU 8tを基盤に、パッケージやネットワーク、セキュリティを用途別に最適化します。

記事の概要

Googleは、第8世代TPUに「TPU 8i Max」と「TPU 8tx」を追加すると発表しました。
4月発表の大規模学習向け「TPU 8t」と、リアルタイム推論向けの「TPU 8i」を合わせ、ラインアップは4システムに拡大します。
TPU 8i Maxは、2つのTPU 8iチップを1つのパッケージに搭載します。
TPU 8iと比べて、演算能力、SRAM容量、HBMのメモリ帯域幅をそれぞれ2倍に高めます。
数百万トークン規模のコンテキストや、コードベース全体、長時間の動画を扱う用途を想定しています。
TPU 8txは、規制の厳しい企業や政府機関向けに、処理中のデータやモデルの重みをハードウェアレベルで保護します。
TPU 8tと比べてレイテンシを最大で半分に短縮し、単一システムでモデルの実行と追加学習などに対応します。
Googleは、TPUクラスターのメモリやストレージを統合的に扱う「TPU Sync」のオープンソース化も発表しました。

記事のポイント

1. 大容量処理に対応： TPU 8i Maxは2つのTPU 8iを1パッケージに搭載し、演算能力などを2倍に高めます。
2. 機密データを保護： TPU 8txはカスタムのAMD製CPUホストを組み合わせ、処理中のデータとモデルを保護します。
3. TPU Syncを公開： TPU SyncはKVキャッシュの転送レイテンシとTTFTを90%以上削減するとしています。

このニュースがもたらす影響

• 導入を検討する企業： コードベースや長時間動画など大容量データを扱う企業は、モデル性能だけでなく、メモリ帯域幅と設置面積あたりの処理密度を基盤選定の基準に加える必要がありそうです。
• AI基盤の競合： 用途別にパッケージ、ネットワーク、セキュリティを分ける構成が広がれば、汎用的な演算性能だけでなく、長文処理や機密推論への適合性を示す競争になっていく可能性があります。
• 規制業界・政府機関： 機密データを扱う組織は、データ移送を抑えながら追加学習まで行えるかを含め、ハードウェア保護と自社の監査・運用要件が両立するかを検証することになりそうです。

このニュースの背景

第8世代TPUは、これまで大規模学習向けのTPU 8tとリアルタイム推論向けのTPU 8iで用途を分けていました。
今回の追加では、既存チップを基盤に、パッケージやネットワーク、セキュリティを用途別に最適化しています。
多数のAIエージェントがコードベース全体や長時間の動画を扱う際には、メモリ帯域幅が処理のボトルネックになる課題がありました。
また、規制の厳しい企業や政府機関では、機密データとモデルの重みを保護しながら推論や追加学習を行う構成が求められています。

関連するニュース

• Google CloudはCodeMenderや認証機能を拡充し、AIエージェントの脆弱性対策と脅威対応を強化しました。
• Teradataが、AI向けに個人情報保護や不変バックアップなどの新機能を提供します。
• タレスはGoogle Cloudと連携し、AIエージェントの通信や権限を保護する機能を提供します。

詳しい記事の内容はこちらから（引用元）

Impress Watch

Google、次世代AI向けTPU拡充　大容量処理の「8i Max」と機密保護の「8tx」

Googleは、第8世代のAI向けアクセラレータ「TPU」に、大規模なコンテキスト処理に対応する「TPU 8i Max」…