「弊社はさまざまな理由からディープ ラーニングの研究をクラウドで行うことを決めましたが、理由の最たるものは、最新の機械学習インフラにアクセスできることにあります。ディープ ラーニングをサポートする Google Cloud TPU は、急速に進化する革新的な技術の一例です。TensorFlow ワークロードを TPU に移行したところ、新しいモデルのプログラミングの複雑さと、そのトレーニングに要する時間の両方が大幅に軽減され、生産性が向上しました。他のアクセラレータの代わりに Cloud TPU を使うことで、クラスタ通信のパターンの複雑さを管理する必要性に悩むことなく、モデル構築に集中できています。」 — Alfred Spector 氏、Two Sigma の CTO
「Google Cloud TPU を使用するようになって以来、そのスピードに感嘆しています。普通なら数日はかかりそうなトレーニングが数時間でできてしまうからです。ディープ ラーニングは自動運転車を動かすソフトウェアの基盤に急速になりつつあります。データが増えるにつれて精度も高くなり、アルゴリズムの大きなブレークスルーが毎週のように起こっています。そうした中、膨大な車両からナビゲーション関連の最新データを取り込み、研究コミュニティにおけるアルゴリズムの最新の進化を反映させる取り組みを急ピッチで進めるうえで、Cloud TPU はとても役に立ちます。」 — Anantha Kancherla 氏、Lyft の自動運転レベル 5 担当ソフトウェア責任者
「TPU の開発はおそろしいスピードで進んで行きました。最初は回路設計エンジニア、その後は検証エンジニアと、エンジニアの採用とチップ開発を並行して進めていく忙しさです。しかし最初にできあがったチップ（ファーストシリコン）はまったく何の問題もなく動きました」 （First in-depth look at Google's TPU architecture, The Next Platform より）
「全結合 NNや畳み込み NN などいろいろな種類がありますが、要するに NN の計算とは様々なサイズの行列演算の集まりです。たくさんの乗算と加算の結果を活性化関数へと流し込むことで、たくさんの線形演算の積み重ねから非線形なふるまいを得る。これが NN の本質であり、TPU のアーキテクチャはそれをハードウェアで表現したものです」（First in-depth look at Google's TPU architecture, the Next Platform より）
MatrixMultiply
「CPU や GPU は、現代の汎用プロセッサに必要とされる様々な機能を実装する複雑なアーキテクチャを備えます。例えば、キャッシュ、分岐予測、アウトオブオーダー実行、マルチスレッド、投機プリフェッチ、アドレス計算、コンテキスト スイッチ等々。これらの機構のために多くのトランジスタと電力が費やされていますが、いずれもプロセッサの平均性能を改善するだけで、99パーセンタイルの性能（＝性能のばらつきの低さ）の改善にはあまり寄与しません。TPU はシングルスレッド動作の特定用途向けプロセッサであり、これらの機構をすべて廃したミニマルな設計による多大なメリットが得られます」（8ページ）
