【Google I/O 2017】Google 第二代 TPU 既能推理又能訓練,性能霸道

作者 | 發布日期 2017 年 05 月 18 日 10:34 | 分類 AI 人工智慧 , Google , 晶片 follow us in feedly

5月18日凌晨,Google CEO Sundar Pichai 在 I/O 大會上正式公布了第二代 TPU,又稱 Cloud TPU 或 TPU 2.0,這一採用雲端計運算的硬體和軟體系統,將繼續支撐 Google 最前沿的人工智慧技術。



第一代 TPU 於 2016 年發表,它被做為一種特定目的晶片而專為機器學習設計,並用在 AlphaGo 的人工智慧系統上,是其預測和決策等技術的基礎。隨後,Google 還將這一晶片用在了其服務的各方面,比如每一次搜尋都有用到 TPU 的計算能力,最近還用在了 Google 翻譯、相簿等軟體背後的機器學習模型中。

今天凌晨,Google 宣布第二代的 TPU 系統已經全面投入使用,並且已經部署在 Google Compute Engine 平台上。它可用於圖像和語音辨識、機器翻譯和機器人等領域。

新的 TPU 包括了 4 個晶片,每秒可處理 180 萬億次浮點運算。Google 還找到一種方法,使用新的電腦網路將 64 個 TPU 組合到一起,升級為所謂的TPU Pods,可提供大約 11,500 萬億次浮點運算能力。

(Source:wired

強大的運算能力為 Google 提供了優於競爭對手的速度,和做實驗的自由度。Google 表示,公司新的大型翻譯模型如果在 32 塊性能最好的 GPU 上訓練,需要一整天的時間,而八分之一個 TPU Pod 就能在 6 個小時內完成同樣的任務。之所以開發新晶片,部分也是因為 Google 的機器翻譯模型太大,無法如想要的那麼快進行訓練。

除了速度,第二代 TPU 最大的特色,是相比初代 TPU 它既可以用於訓練神經網路,又可以用於推理。初代的 TPU 只能做推理,要依靠 Google 雲來即時收集資料並產生結果,而訓練過程還需要額外的資源。

機器學習的能力已經逐漸在消費級產品中體現出來,比如 Google 翻譯幾乎可以即時將英語句子變成中文,AlphaGo 能以超人的熟練度玩圍棋。所有這一切都要靠訓練神經網路來完成,而這又需要計算能力。所以硬體越強大,得到的結果就越快。如果將每個實驗的時間從幾周縮短到幾天或幾個小時,就可以提高每個機器學習者快速反覆運算,並進行更多實驗的能力。由於新一代 TPU 可以同時進行推理和訓練,研究人員能比以前更快地部署 AI 實驗。

(Source:wired

過去十多年來,Google 已經開發出很多新的資料中心硬體,其中包括伺服器和網路設備,主要目的是擴張自己的線上帝國。而過去幾年中,在 AI 方面 Google 也選擇開發自己的硬體,為其軟體做優化。神經網路是複雜的數學系統,通過分析大量資料來學習,這種系統從根本上改變了技術的構建和運行方式,影響範圍也包括硬體。

在某種程度上,初代的 TPU 被設計來是為了更好地支援 TensorFlow 機器學習框架。而歸功於 Google 在軟硬體上的進步與集成,TensorFlow 已經成為構建 AI 軟體的領先平台之一。這種優化,再加上 Google 大腦及其 DeepMind 子公司的內部人才,正是 Google 在 AI 領域保持領先的部分原因。

晶片廠商 Nvidia 的 GPU 幾乎主宰了機器學習的市場,而現在,Google 想透過專門設計用於訓練神經網路的晶片,來改變市場提升格局。

(Source:The Verge

亞馬遜和微軟透過自己的雲端服務提供 GPU 處理,但他們不提供客製的 AI 晶片。

不過 Google 也不能因此而高枕無憂,因為短期內競爭就會加劇。目前已經有幾家公司,包括晶片巨擘英特爾和一大批新創公司,正在開發專門的 AI 晶片,它們都可能替代 Google TPU。

首先開發出新的晶片並不能保證 Google 成功,要使用 TPU 2.0,開發者要學習一種構建和運行神經網路的新方法。它不僅僅是一個新的晶片,TPU 2.0 也是專門為 TensorFlow 設計。雖然 Tensorflow 是開源軟體,但也有許多研究人員使用 Torch 和 Caffe 等類似的軟體。新硬體需要新的軟體優化,這需要不少時間。

在 Google 推出 TPU 2.0 的幾周之前,Facebook 的 AI 研究主管 Yann LeCun 質疑稱,市場可能不需要新的 AI 專用晶片,因為研究者已經對使用 GPU 所需的工具非常熟悉了。新的硬體意味著新的生態系統。

另外,Google 雲端服務的成功不僅取決於晶片的速度,以及使用的容易程度,還要考慮成本。所以,如果 Google 以比現有 GPU 服務更低的成本提供 TPU 服務,會得到更廣泛的用戶基礎。

Google 自己當然會使用新 TPU 系統,但也會將它的能力開放給其他公司使用。Google 表示,不會將晶片直接出售,而是會透過其新的雲端服務(年底前公布)提供,任何開發者都可以使用新處理器帶來的計算能力。

Google 也重申了其對開源模式的承諾,表示會向同意發布研究結果的研究人員提供 TPU 資源,甚至可能開原始程式碼。他甚至呼籲開發者加入 TensorFlow Research Cloud 計畫,它會免費提供一組 1,000 台 TPU。

新 TPU 的速度優勢肯定會吸引不少研究人員,畢竟 AI 研究要在大量硬體上廣泛試錯。就此而言,Google 願意免費提供計算資源對全世界的 AI 研究者來說都是有好處的,當然,這對 Google 來說也是有好處的。

(本文由 雷鋒網 授權轉載;首圖來源:Google

延伸閱讀: