要搜哪裡就圈哪裡,「畫圈搜尋」就是 Google 眼裡搜尋的終極型態?

作者 | 發布日期 2024 年 01 月 26 日 8:20 | 分類 AI 人工智慧 , Google , 網路 line share follow us in feedly line share
要搜哪裡就圈哪裡,「畫圈搜尋」就是 Google 眼裡搜尋的終極型態?


時代交替,喜歡網路衝浪的 Google 在 2024 年 1 月 17 日,開發出一個新玩意兒,叫做「畫圈搜尋」(Circle to Search)。

(Source:Google,下同)

影片裡展示了Circle to Search的實機表現。只需長按手機上的主頁按鈕或導覽欄,即可啟動Circle to Search。然後就可以根據你自己喜歡的手勢,搜尋螢幕裡任何感興趣的物品,例如畫一個圈,圈出圖片中的太陽眼鏡,快速搜尋出目標訊息,以及關聯網購選項。也可以塗鴉手袋並點擊靴子以查找它們。當一切完成後,只需輕掃一下,你就回到了原始頁面。換句話說,整個搜尋過程都不需要跳轉至其他App,Circle to Search就像是增加音量或調整螢幕亮度一樣,是一種基本功能,不是單獨的App。

先不考慮今後這個功能的使用情況是怎麼樣的,關鍵它是真的好玩!以往搜尋的桎梏中,跳轉絕對是最煩的一步。想搜尋影片裡的某樣東西,得先暫停影片,再截圖、剪裁圖片、最小化窗口、打開搜尋頁面、上傳圖片搜尋、最小化搜尋窗口、返回原影片。而對於Circle to Search來說,只要畫一個圈,就可以完成上述所有操作。最關鍵的,如果一張圖片還不夠,你甚至還能加一段話以更精準地找到搜尋結果。

這個圈是怎麼畫出來的?

Google是怎麼做到的?這裡必須得提到一個概念──多重搜尋。Google在2022年推出的多重搜尋,其核心叫做MUM(Multitask Unified Model,多任務統一模型),這個模型可以從不同語言的搜尋結果中獲得資訊。當你用中文搜尋其他國家內容的結果,肯定不如其他國家原生語言搜尋的答案準確。因此,MUM克服了語言障礙,如果在另一種語言中找到了適當的訊息,它將被收集並翻譯成搜尋查詢的語言。

MUM的另一個創新特點是多模態搜尋,它能夠理解文字、影片或圖像等不同形式的資訊。MUM在多模態方面的運作原理是,把文字來當成圖片的描述,讓人工智慧理解圖片、影片、音訊之前,先透過文字內容對即將搜尋的領域進行限定,為人工智慧規劃出搜尋的方向,以便更迅速準確地得出答案。根據Google的官方說法,它的運作效率是上一代搜尋引擎(Bidirectional Encoder Representations from Transformers,BERT)的1,000倍。

早在Google Glass上就有MUM的前身,原因很簡單,你總不能在眼鏡上打字吧?那就只能透過眼鏡上的攝影機來辨識圖片內容進行搜尋。Google Glass還有一個功能,語音控制。配戴者將頭部向上仰30度(角度可在設定中調整)或點擊觸控板,並說「OK, Glass」。接下來就能對Google Glass「發號施令」,例如拍照、搜尋等等。當時Google的設計師就想,我能不能出一個功能,結合圖片辨識和語音辨識呢?雖然Google Glass因為市場契合度低,沒辦法幫用戶解決實際問題等原因最終失敗擱淺,但是MUM的概念得到Google內部的一致認同,所以就算是Google Glass失敗了,MUM的開發依然保留了下來。

▲ Google Glass。(Source:Mikepanhu / CC BY-SA

2017年的時候,Google Lens App發布,當手機相機拍攝某個物體時,Google Lens會嘗試辨識該物體,並顯示相關搜尋結果和資訊。例如,將裝置的攝影機指向包含網路名稱和密碼的Wi-Fi標籤時,它會自動連接到已掃描的Wi-Fi網路。和現在的MUM比起來已經算非常接近了,不過還不夠。

▲ Google Lens。(Source:Google LLC, see page for license, via Wikimedia Commons)

2021年I/O大會,由於Google Lens的出色表現,基於Google Lens的業務表現,MUM誕生了。但是MUM的功能遠不至於多模態和多語言,還有一項「隱藏屬性」。當時Google部落格有一篇文章,專門講MUM這個「隱藏屬性」的,文章裡舉了個例子,說你如果正在裝修,同時又對「壓克力」這個藝術風格感興趣,那麼你一開始搜尋「壓克力」的時候,答案和絕大多數人最關心的內容相同,包括壓克力畫的成果展示,或是學習途徑這類。

剛才說了,你正在裝修,那麼Google會根據你其他的搜尋內容進行推算,判斷出你可能想把房間裝飾成壓克力風格。那麼就算你不去搜尋相關關鍵字,Google也會直接推播給你「如何製作壓克力畫風格的裝潢」或「如何用家庭用品製作壓克力畫」。

MUM很有意思,基於MUM的Circle to Search就更有意思了。這個功能的本質就是將「手勢」和多重搜尋相互結合在一起,它可以是畫圈,也可以是點擊,或者是將觸電變成筆刷,對想要搜尋的內容進行「塗鴉」。雖然最直觀的感受是加入手勢的理解後,整個搜尋的過程變得非常簡單,然而最重要的是Circle to Search對多種不同資料結構(圖片、影片、文字)的理解,也正是Google一直熱捧的多模態。

Google真正想要的搜尋

Circle to search雖然看起來像是「重量級」升級,但對Google來說,這只是一小步。Google接下來要做的是要將SGE融合進搜尋業務。SGE全名為Search Generative Experience,中文翻譯叫做生成式搜尋。

在SGE中,使用者提出更複雜、更具描述性的新問題。也可以更快地了解一個主題的要點,並提供相關結果的連結,以進一步了解。當完成搜尋後,使用者可以基於SGE快速開始下一步任務,例如從搜尋的地方直接撰寫草稿或產生圖像。此外,還能透過提問對話式的後續問題或嘗試建議等方式來讓搜尋引擎提供更多幫助。

直白一點講,SGE和我們常見的人工智慧生成內容是逆著的。SGE會先生成一段內容,把這個內容稱之為「快照」。快照包含需要考慮的因素和有用的資訊,當然它肯定不會那麼全面,只是為了讓用戶透過快照來迅速了解這個領域的內容,再基於對快照的詢問,來了解更深層的內容。

SGE厲害在什麼地方?其實這也是MUM那個「隱藏屬性」的威力加強版。傳統搜尋過程中,每次搜尋結果對於引擎來說其實都是獨立的,你以為的更深層次的結果,不過是你複製貼上了上一次搜尋結果中的某一段內容,再貼到了喜愛一次搜尋中而已。但是SGE不一樣,它是一次搜尋,從頭到尾的解決問題。

回顧Google Glass的失敗,我們發現Google害怕的是問題沒有解決,所以推出了SGE,專門用來解決問題的搜尋引擎。Circle to Search是一次形式上地創新,接下來Google會將SGE引用到各種各樣的搜尋入口,包括Circle to Search。這可能會是個全新的成長點,目前Circle to Search將會應用在1月31日發售的GooglePixel 8和Pixel 8 Pro,以及三星S24上。

(本文由 品玩 授權轉載;首圖來源:Google

延伸閱讀: