Google 日前於 Google IO 大會展示 Smart Compose 技術，能在使用者撰寫電子郵件時，只需輸入前半段語句，系統就會自動預測並推薦適合的後半段內容，有效增加文字撰寫速度並提高生產力。這種技術最大的挑戰，就是該如何讓人工智慧了解自然語言，並產生恰當的語句。
從自動回覆進步到自動撰文
先前 Google 曾推出 Smart Reply，分析 Gmail 信箱收到的電子郵件，並自動產生多組回覆範本，方便使用者快速點選並回信。這次推出的 Smart Compose，則是將功能提升到新境界，在使用者撰寫電子郵件的過程中，即時預測接下來的語句，並以類似自動完成的方式，協助使用者完成後半段語句。
不過兩者畢竟還是有許多不同。傳統的自動完成是透過記錄先前輸入過的語句，並在偵測到輸入相同內容時，將後半段語句顯示出來，輸入地址等長用固定語句時能發揮很大的功能，但並沒有「憑空產生語句」的功能。Smart Compose 則是透過人工智慧與機械學習的方式，來產生有意義的回覆。
Smart Compose 設計主要有三大考量，首先系統的反應速度要很靈敏，需要在 0.1 秒內即時產生回覆。再來需要提供不同類型郵件內容的準確分析，以滿足超過 14 億 Gmail 使用者的需求。
最後則是為了確保使用者的隱私，所以限制開發人員接觸郵件內容，這也意味著開發人員要在無法閱讀郵件的前提下，設法訓練深度學習系統。
透過 TPU 提生效能
為了要滿足即時顯示預測語句的目的，開發人員捨棄 Sequence-to-Sequence 序列式自然語言分析，改採融合 Neural Bag-of-Words（BoW）與 RNN Language （RNN-LM）等語言產生模型（Language Generation Model）的技術，能在犧牲少量預測精準度的情況下提升運作速度。
在決定模型之後，下一步就是要調整模型的超參數（Hyperparameter，在系統開始學習之前設定的參數），並透過數十億則範例來訓練系統，並使用 TPU 進行訓練工作，以縮短訓練所需花費的時間。
在系統訓練完成後，若使用一般處理器進行運算，產生語句預測大概也需花費數百毫秒的時間，仍無法滿足使用上的需求。因此 Google 仍然依賴 TPU 進行運算，能讓所需的時間縮短至數十毫秒，並大幅提升單一伺服器能夠同時處理的工作數量，
開發團隊表示他們會持續改善預測語句的品質，並採用最先進的訓練方式進行實驗，一旦這些新的技術能夠滿足低延遲等條件，就能正式應用於 Smart Compose。此外開發團隊也著手於個人化的語句模型，以求更加精準模擬每個使用者的文筆風格。
