還原台積電中毒關鍵 45 小時始末

作者 | 發布日期 2018 年 08 月 27 日 8:00 | 分類 晶片 , 網路 , 資訊安全 line share follow us in feedly line share
還原台積電中毒關鍵 45 小時始末


一隻出現一年多的普通病毒,一個人為疏失,竟讓台積電竹科、中科、南科廠區生產線大面積停擺,讓台積電第三季毛利率下降 1%!8 月 3 日,台積電發生罕見的資安事件,這起事件的真正原因是什麼,至今仍無完整答案。

8 月 6 日,台積電總裁魏哲家在記者會,將這起事件定調為「人為疏失」,強調「台積公司於 8 月 3 日安裝新機台時,並未將此機台於連結網路前隔離確保無病毒,造成病毒進入公司網路。」

但,這恐怕只是答案的一部分,因為,如果只要一個小小疏失,就能造成台積電生產線大面積停擺,那麼,未來投資者又該如何估計台積電的經營風險?台積電過去對作業疏失處分嚴厲,這一次,魏哲家卻對誰該負責、問題由哪一廠開始爆發,不願透露任何資訊。

一個新機台、一隻病毒
一連串巧合掀起的完美風暴

還原台積電中毒事件 45 小時緊急救援的過程,發現這件事的核心和魏哲家進行的一項重大變革有關,這也是魏哲家低調面對的真正原因。

時間回到 8 月 3 日下午 6 點,台積電 12 廠的機台開始出現異常,剛開始範圍不大,現場工作人員以為是機台出了問題。晚上 10 點半,狀況開始變得愈來愈嚴重,不只機台,連搬運晶圓的系統都出了問題,所有人意識到,網路出了問題。

各地的情報不斷傳進來,不只新竹、台南和台中廠都出現狀況,控制機台的中控電腦紛紛出現無限次自動重新啟動或當機的狀況。

主管 IT 的副總經理林錦坤等高階主管坐鎮 12 廠,林錦坤在台積電是從設備工程師一路立下戰功的老台積人,他原本是負責管理工廠營運,在資訊長左大川退休前,他升為副總經理管理資訊系統,帶著所有人漏夜開會評估影響。

造成病毒感染的原點究竟在哪裡?「有兩個說法,一說是在龍潭,一說是在新竹。」一位產業人士分析,事件的起因極有可能是為了新的機台要開始試產,讓受感染機台第一次連上台積電製造部的網路,「一個機台裡可能有不只一台電腦」,他分析,如果工程師只掃了其中一台電腦的毒,就將機台連上網路,這一道防線因此失守,病毒開始在台積電製造部的網路流竄。

業界觀察,台積電過去不是沒遇過這樣的挑戰,但以前,台積電還有第二道防線,機台無需連上雲端,就能獨立作業,「控制機台的程式,放在機台的肚子裡。」他分析,以前遇到這種狀況,只要改為人工操作就能解決。

這一次不一樣。去年初,台積電開始在內部推動雲端自動化系統,機台生產前,是由中控電腦把控制機台生產的程式放進機台裡,生產完之後就殺掉,「這樣能做到資料不落地」,好處是能減少人為錯誤,提高效率,只要電腦下指令,所有機台用的都會安裝一致的程式,而且保密性更高,有心人無法從機台裡偷走這些重要資料。

但這套系統的問題是,如果病毒進入網路,機台就無法獨立運作。「也不是所有的機台都中毒,但是那些有問題的中控電腦送到機台的程式,誰敢保證它放進去是對的程式?」

▲ 台積電技術資訊及資材暨風險管理副總經理林錦坤(右二),是這一次台積電危機處理的核心人物。

病毒疫情四處擴散
為何只有南京廠倖存?

爆發災情的當晚,病毒沿著生產部門的網路在台灣各廠區之間迅速擴散,只有南京廠不受影響。過去,台灣各廠區之間還有防火牆阻絕,這一天,卻沒有發生作用。

關鍵在於,台積電台灣各廠區之間為了追求效率,會跨廠合作,有時是產能不足,把生產資料丟上雲端,用其他廠的機台來幫忙生產,或是有問題,把相關資料傳到其他廠的機台,驗證自己的生產程序哪裡有錯。魏哲家在記者會也證實,「我們生產的系統是全部連線,使我們有最大的效率,北中南全部連線在一起。」

對各生產單位來說,如果有防火牆,對其他廠區的機台下指令,可能要幾分鐘才能得到回應,拿掉防火牆,立刻就能知道結果;方便的下場,就是無法阻隔病毒。台積電內部老舊的廠區,因為還沒連上雲端,基本能維持運作,但已經完成雲端自動化系統的新廠區,就受傷慘重。南京廠因為防火牆仍維持運作,作業反而不受影響。

當天許多台積電員工工作到第二天凌晨才下班,早上 8 點,各單位主管狂打電話,把設備工程師全部召回廠內,其他單位支援人力,按照前一天定下的應變計畫,數千台電腦掃毒,惟恐漏掉任何一台。

這並不容易,因為台積電裡面,舊有生產線的機台,也有部分是歷史悠久的老設備,這些設備用的電腦舊到不能灌防毒軟體,但是,生產這些設備的廠商,可能已被購併,或已經不繼續營運,無法隨便更動設備,「只能先掃毒,確定沒病毒之後再想辦法,可能是建一個外掛,保護這台電腦。」產業人士分析,未來如何處理這些老舊設備的資安問題,也是一個重點。

台積電各廠之間的防火牆,也迅速恢復起來,各生產單位雖然抱怨連連,但面對資安風險,沒人敢再多講什麼。到星期天下午 3 點左右,八成機台都已恢復生產。魏哲家沒說的是,台積電的雲端自動化,是一條非走不可的路。

雲端自動化勢在必行
資安與生產效率的兩難

台積電興建南京廠時,是把南京廠當成雲端自動化示範點來做,當時左大川仍是資訊長,為了設計南京廠的雲端系統,台積電人仰馬翻。在南京廠,要做一份跨部門工作報告,需要穿過數百道防火牆!

南京廠完工後,台積電把這套系統推廣到台灣各廠區,未來新興建的廠,都會採用這樣的雲端系統。過去幾年,魏哲家不斷在內部推行自動化,因為,台積電的投資金額愈來愈大,他希望能讓台積電即使擴廠,未來員工人數仍維持 4 萬多人左右的規模,提高效率才能讓所有員工維持高薪,提高台積電的競爭力。這個策略不會因為意外而有所改變。

這也是台積電在資訊安全的重要一課,因為,面對資訊安全,不管有再好的設備和技術,只要有人貪圖方便,這些防護措施可能都完全起不了作用。補起了這個漏洞,未來台積電完成雲端自動化平台後,競爭力會更強。

(本文由 財訊 授權轉載;首圖來源:Flickr/Thomas CC BY 2.0)

延伸閱讀: