全球網路很快「儲存空間不足」,未來要把數據存在哪裡?

作者 | 發布日期 2019 年 12 月 21 日 0:00 | 分類 儲存設備 , 數位內容 , 網路 Telegram share ! follow us in feedly


如今智慧手機的儲存空間越來越大,可全球的數據儲存很快就會亮出「儲存空間不足」的預警。

根據軟體公司 Domo 的報告,2018 年人們每分鐘在 Google 進行 383 萬次搜尋,在 YouTube 觀看 433 萬段影片,發送 159,362,760 封電子郵件、473,000 條 Twitter 和 49,000 張 Instagram 照片。

而在中國,每天在微信發出的訊息就超過 450 億條。Domo 預計到 2020 年全球人均每秒將產生 1.7 MB 的數據,以全球人口 78 億計算,那麼一年就會產生 418 ZB 的數據,大約需要 4,180 億個 1TB 硬碟才能裝下。

這還沒考慮到人口的增長趨勢,聯合國預計世界人口在 2050 年就能突破 97 億。這意味著現有的數據儲存系統撐不到下個世紀了。

(Source:聯合國

數據的爆炸式增長,迫使人類尋找更好的數據儲存技術。有人嘗試用 1 公斤 DNA 儲存全球數據,微軟則研發出可以號稱可以使用上千年的「玻璃光碟」,然而技術最先進的科技公司還在使用磁帶儲存數據。

人類文明狂奔五千多年,但現在可用的儲存介質最長的壽命最多才約 60 年,數據儲存的未來到底在哪裡?

2019 年了,科技公司為什麼還在用磁帶儲存數據?

在很多人印像中,磁帶彷彿是上個世紀的古董了。不少 80 後 90 後當年還是以買磁帶來支持自己的偶像,任賢齊 1996 年發行的專輯《心太軟》錄音帶銷量就突破了千萬。

然而隨著 CD、MP3、智慧手機相繼在音樂市場上各領風騷,磁帶也成了一代人的回憶,在生活中難覓踪影。可磁帶並沒有死,反而在大數據時代成了最具競爭力的儲存介質。

目前包括 Google 、亞馬遜和微軟等科技巨頭其實也還在使用磁帶來備份海量數據。為什麼放著機械硬碟(HDD)和固態硬碟(SSD)不用,反而去用磁帶儲存數據呢?

最重要的原因還是便宜,這些科技公司的用戶數以億計,需要儲存的數據量十分龐大。儘管雲計算是未來趨勢,但對於提供互聯網服務的公司來說,依然需要將數據儲存到本地,這將是一筆不菲的成本。

儘管與硬碟和半導體儲存器相比,磁帶的讀取速度要慢得多。但成本卻也低得多,1 TB 容量的移動硬碟售價約為 50 美元,相同容量的磁帶的價格僅需 5 美元。

▲ 1951 年磁帶首次用於電腦數據儲存。

而且磁帶比硬碟要耐用,一般硬碟的壽命不超過 10 年,每隔幾年就要復製到新硬碟中,海量數據複製不止耗時,而且還容易丟失數據,而磁帶則可以保存數十年。

此外在使用過程中磁帶只需要插在機械磁帶庫的插槽中,不需要耗電,也節省了不少電力成本,要知道 2025 年全球數據中心的電費將會超過百億美元。

對於很多公司來說,數據儲存的安全性往往是重要的。因為磁帶不安裝驅動就無法訪問,這種離線狀態隔絕了駭客和網路攻擊,不容易丟失和被篡改。

2011 年,Google 的 Gmail 因為一次更新中的 Bug 意外刪除了四萬多個帳戶的郵件,雖然 Google 一直有在多個數據中心用硬碟儲存數據副本,但仍有部分數據無法恢復。所幸這些數據同時也有備份到磁碟裡,才得以恢復所有數據。

(Source:pixabay

因此除了科技公司,不少對於數據安全性有較高要求的企業和機構其實也還在用磁碟儲存數據。比如銀行、保險公司、國家檔案館,以及科研機構,其中就包括美國國家航空航天局(NASA)。

但磁帶並不是因為安全和成本而犧牲效率的數據儲存載體,磁帶技術的發展已經超出很多人的想像。

Sony 在 2014 年利用自主開發的濺射薄層沉積技術,將 7.7 奈米的極細磁顆粒鋪設在磁帶上,實現了高密度磁儲存,儲存容量可以達到 185TB。

▲ IBM 容量 330TB 的磁帶。

IBM 在瑞士蘇黎世有一個專門的研究團隊來負責推進磁帶技術,據團隊科學家 Mark A. Lantz 介紹,IBM 在 2017 解決了每平方英寸(1 平方英寸 = 0.00064516 平方米)儲存 201 千兆字節的難題,並透過引進 Sony 的濺射薄層沉積技術,將單盒磁帶的容量提升至 330 TB。

更重要的是,磁帶的儲存容量已經以每年 33% 的速度增長了多年,而且並沒有放緩的跡象。訊息儲存行業協會(INSIC)預測 2025 年磁帶儲存密度能達到每平方英寸 91 GB,到 2028 年將突破每平方英寸 200 GB。

而硬碟的磁錄密度增長速度卻已經降到了 10~15%,因為當硬碟的儲存密度達到一定極限後,要再縮小磁性顆粒大小,就難以保持磁性穩定,這就是所謂的超順磁極限(superparamagnetic limit)。

根據 IDC 的數據,網路上的大數據正以每年 30%~40% 的速度增長,而目前硬碟容量增長的速度不到大數據增長速度的一半,磁帶卻可能成為遵循摩爾定律的最後一種資訊技術。

眾多廠商在嘗試突破儲存技術的極限,但沒那麼容易

正如上文所述,企業級的數據儲存設備至少要兼顧下面這些因素:成本、安全、耐用和儲存密度。那麼除了磁帶,我們真的沒有別的選擇嗎?

只能說,現階段磁帶是性價比最高的大數據儲存介質之一,但很多廠商也一直在研究新的儲存技術。比如硬碟廠商希捷科技和威騰電子開發出的熱輔助磁記錄技術(HAMR)和微波輔助磁記錄技術(MAMR),就有望讓硬碟打破超順磁極限。

這兩種技術分別透過雷射和微波來降低介質的矯頑力,在超高密度的數據存儲中時保證足夠的穩定性。但這兩種技術都還未完全成熟,需要更多時間才能完全商用。

另外一種可能像磁帶一樣被忽略的就是光儲存技術,CD 和 DVD 都是光儲存介質的一種。但過去的 CD 容易老化,同時由於衍射極限的限制(可以看做光碟裡的超順磁極限),儲存密度也十分有限。

(Source:pixabay

但藍光光碟改變了這一切,據華錄光存儲研究院行銷中心副總經理胡冰介紹,藍光光碟同樣具有可靠穩定和使用壽命長的特點,使用壽命能達到約 50 年,單張藍光光碟的容量已達 500 GB,未來有望突破 TB 級。

▲圖片來自:ssdfans

同時藍光儲存對溫度等環境溫度要求較低,不需要空調冷卻系統,這大大降低了成本。Facebook 的數據中心就採用了藍光儲存,與硬碟相比節省了超過一半的成本,耗電量則降低了 80% 以上。

微軟最近曝光的 Project Silica 專案其實也基於光儲存技術,是透過飛秒激光技術(一種以脈衝形式發射的雷射,常用於近視矯正手術)在一塊玻璃上形成一個奈米尺度光柵層結構,並產生不同深度和角度的變形,有點像刻錄光碟,不過密度更高也更複雜,一塊 2 毫米厚的玻璃可以包含一百多個數據層。

目前微軟已經和華納兄弟公司合作,成功將 1978 年的《超人》電影母帶儲存在一塊 75×75×2mm 的玻璃中,並透過機器學習對於玻璃中的數據進行了非順序的讀取,只不過讀取速度還有待提升。

跟光碟不一樣的是, Project Silica 的數據是儲存在玻璃內部而非表面,因此數據不會因為玻璃磨損而丟失。研究人員將這種「玻璃光碟」放進攝氏 500 度的烤箱、用微波爐加熱、廢水煮泡,甚至用鋼絲擦洗後,數據依然能順利讀取。

雖然這項技術仍處於初期階段,但英國微軟劍橋研究院的實驗室副主任表示,這種「玻璃光碟」可以持續使用上千年。此外玻璃對溫度和濕度也沒什麼要求,這能大幅降低數據儲存的成本。

實際上「玻璃光碟」並不是微軟的首創,早在 2016 年英國南安普敦大學成功用類似的技術將數據編碼到玻璃中,可以承受攝氏 1000 度高溫,號稱在常溫下壽命接近無限,即便在攝氏 190 度下也可使用 138 億年,要知道地球的歷史也才大約 46 億年。

值得一提的是,微軟的 Project Silica 專案正是和南安普敦大學合作開發的,這種玻璃光碟又被稱為 5 維光碟,由奈米結構的三維,再加上整體尺寸和方向構成。同等尺寸的玻璃光碟儲存容量是藍光光碟的 3,000 倍。

如果成功,真的可能像南安普敦大學研究人員所說的,開創一個數據永久儲存的新時代。

最好的數據儲存載體,可能就是我們自己

數據儲存領域裡一個更大膽的設想,是生物質硬碟,就是將資訊儲存在 DNA 中。

DNA 是如何儲存數據的?其實原理不算複雜,所有電腦數據都是以 0 和 1 組成的二進制數儲存和運算的,而 DNA 儲存技術則是用四種鹼基來代替 0 和 1 ,將數位信號轉化為化學信號。

2017 年,哈佛大學醫學院就利用 CRISPR DNA 編輯技術,將一張賽馬的動圖錄入大腸桿菌的基因組中,並以超過 90% 的準確率讀取出來。

近幾年也出現了不 少探索 DNA 儲存技術的創業公司,前段時間新創企業 Catalog 宣布將維基百科英文版一共 16G 的所有文本儲存在一個 DNA 分子中,透過一台超大型 DNA 書寫器完成,數據寫入速度能達到 4 MB / s 。

▲ 裡面就是儲存了 16G 維基百科的 DNA。

而另一家叫做 Twist Bioscience 的生物科技公司,是目前全球最大合成基因的供應商之一。據其創始人 Emily Leproust 介紹,該公司一粒膠囊中的 DNA 可以儲存相當於整個 Facebook 數據中心的數據。

目前 Twist Bioscience 已經向客戶推出 DNA 儲存的服務,但價格卻很感人。儲存 12 MB 數據的價格就高達 10 萬美元,但 Emily Leproust 表示未來這一價格將降到 10 美分。

2016 年哈佛大學在學術期刊 Nature Materials 發表了一項關於 DNA 儲存技術的研究成果,指出 DNA 的儲存密度遠超目前任何一種儲存介質,經過換算,1kg 的 DNA 就能儲存全球一年產生的數據。

但 DNA 儲存目前還遠不是理想的數據儲存技術,除了昂貴的成本,由於 DNA 儲存的數據只能透過測序來讀取,讀寫速度非常緩慢。有人計算過如果要將 2017 年全球產生的 16 ZB 數據儲存到 DNA 中,需要花費 40 億年。

今年年初微軟首次實現了全自動 DNA 訊息儲存,讓 DNA 儲存技術從實驗室邁向商業化更進了一步,但僅僅是編碼「hello」五個字母,從轉換到讀取就要花費 21 小時,同時讀取的準確度也有待提高。

由此可見,雖然 DNA 儲存技術確實有可能徹底解決全球數據儲存的問題,但這個未來還有一段不短的距離。

數據永久儲存有可能實現嗎?

隨著各種技術成熟,人類正在追求訊息儲存在時間和空間兩個維度上的極致:超高的儲存密度和永恆的儲存時間。

沒有人知道這能否實現,因為沒人能活到永遠,人類最早的文字紀錄,也只是 5,200 年前蘇美爾人留下的楔形文字,然而網路誕生僅僅 50 年,50 年前的數據有多少至今仍保存完整呢?

在科幻小說《三體》中的未來世界裡,即便一粒米大小的量子儲存器就可以放下一座大型圖​​書館的數據,但最多也只能保存 2,000 年。最後人們發現把訊息儲存 1 億年的唯一可行方法,就是「把字刻在石頭上」。

(本文由 愛范兒 授權轉載;首圖來源:shutterstock)