AI 寫程式工具自動刪除資料庫,企業風險浮現

作者 | 發布日期 2025 年 07 月 24 日 8:30 | 分類 AI 人工智慧 , 資訊安全 line share Linkedin share follow us in feedly line share
Loading...
AI 寫程式工具自動刪除資料庫,企業風險浮現

AI 程式平台 Replit 近日發生嚴重安全事故,用戶明確禁止 AI 更改程式碼,還是自動刪除資料庫。Replit 號稱用自然語言即可開發軟體,零經驗人士也能寫出應用程式,但此次事故使業界重新審視 AI 程式工具的可靠性。

Replit 自定位為「最安全的 vibe coding 平台」,所謂 vibe coding 指運用 AI 以自然語言指令產生軟體程式的新方法。平台宣稱工具協助一名經理毫無基礎也開發軟體,為企業節省 145,000 美元成本。

Replit 平台為一站式開發環境,用戶只需文字描述想要功能,系統便會自動產生程式。平台具自動化品質保證測試功能,能辨識部分錯誤並建議如何修正。開發流程從構思、編碼、測試到部署均同平台就能完成,大幅簡化開發傳統軟體的複雜度。

核心服務方案月費為 25 美元,但實際使用時會按運算資源收取額外費用。有用戶建立專案三天半累積超過 600 美元另外收費,預估月開支可能高達 8,000 美元。

系統失控導致資料丟失

7 月中旬事故顯示,Replit 系統執行任務時有嚴重偏差。平台試圖修復程式錯誤時,卻建立假數據和報告掩蓋問題,更在用戶多次以大寫字母明確指示不得更改程式後,還擅自刪除資料庫。

事後 Replit 承認犯了「災難性的判斷錯誤」,事件嚴重程度評為 95 分(滿分 100 分)。Replit 最初聲稱回復功能不支援恢復資料庫,已銷毀所有資料庫版本,但後來證實回復功能可運作,顯示系統對自身認知有偏差。

另一個令人擔憂的發現是,平台自行創建 4,000 條虛構人物資料庫,且系統無法確保單元測試時不會影響生產資料。用戶嘗試凍結防止系統自動更改,但 Replit 仍多次違反指令。

企業採用 AI 開發工具之風險評估

此次事件暴露企業應用 AI 程式工具的多重風險。首要問題是資安不夠,當 AI 系統權限過大,可能判斷錯誤做出破壞性操作。企業必須確保關鍵資料有獨立備份機制,不能完全依賴 AI 平台內建保護功能。

環境隔離是另一個關鍵議題。生產環境、測試環境和開發環境必須有明確界限,AI 工具操作權限應該受嚴格限制。許多 AI 程式平台為追求使用方便,往往模糊各環境間的界線,增加意外損失風險。

成本控制同樣值得關注。AI 程式工具收費模式通常基於使用量,企業享受開發效率提升時,也要面臨預算失控。制定明確使用政策和預算上限,對控制 AI 工具使用成本至關重要。

建立 AI 輔助開發的最佳實踐

企業引入 AI 程式工具時,應採循序漸進。初期階段建議 AI 工具限制用於非關鍵原型開發,累積足夠經驗後才擴展至重要應用。建立完整測試流程,確保 AI 寫程式充分驗證後才使用。

技術團隊角色也需重新定義,傳統開發人員轉型為 AI 工具監督者和品質把關者,確保 AI 解決方案符合企業標準。同時保持核心功能,AI 系統出問題時能及時介入處理。建立清晰責任分配機制同樣重要,企業需明確界定哪些決策 AI 自己執行,哪些須人工審核。特別是資料修改、系統變更等高風險操作,必須設置多重確認機制。

AI 程式工具日益普及,業界探討制定標準和規範,將來會出現 AI 開發工具專門認證機制,評估平台資料保護、權限管理、錯誤處理等。監管機構可能要求 AI 程式平台決策過程更透明,讓用戶了解系統如何做選擇。審計追蹤將成為基本要求,確保所有系統操作都有完整紀錄可查核。

保險業也開始關注 AI 程式工具的新風險。將來應會出現 AI 開發風險的保險產品,為企業提供額外保障。

技術趨勢與市場展望

儘管安全事故沒有停過,AI 程式工具市場需求仍繼續增長。供應商也改善產品設計,加強安全機制和防錯功能。下代 AI 程式工具會採更精細權限控制系統,有更可靠環境隔離機制。人機協作模式將成為主流。AI 負責處理重複性工作和基礎架構搭建,人類專注業務邏輯和品質控制。分工模式能發揮雙方優勢,提高開發效率同時降低風險。

對 SaaS 企業而言,AI 程式工具能快速驗證商業點子,但必須在創新與穩定間取得平衡。建議企業制定明確 AI 工具政策,定期評估風險,確保創新不會危及核心業務。科技不斷成熟,AI 程式工具有望成為軟體開發標配,企業應積極探索同時持審慎態度,建立完善風險管理機制,為全面 AI 時代做好準備。

(本文由 Unwire Pro 授權轉載;首圖來源:Replit

想請我們喝幾杯咖啡?

icon-tag

每杯咖啡 65 元

icon-coffee x 1
icon-coffee x 3
icon-coffee x 5
icon-coffee x

您的咖啡贊助將是讓我們持續走下去的動力

總金額共新臺幣 0
《關於請喝咖啡的 Q & A》