日本最大的網際網路公司部署 Brocade VCS Fabric 以支援整體企業巨量資料(Big Data)計畫

作者 | 發布日期 2014 年 09 月 17 日 17:09 | 分類 Big Data , 市場動態
Yahoo Japan Network Diagram_4

Brocade 宣布,Yahoo Japan(日本最大的網際網路公司和全球數位市場領導者)已完成部署 Brocade Ethernet fabric 方案,作為一項整體企業巨量資料(big data)計畫的網路基礎。新的 Brocade Ethernet fabric 現在為 Apache Hadoop 提供高資料吞吐量及效能,並且相較於先前的基礎設施能節省一半的營運成本。



巨量資料是 Yahoo Japan 的一項重要的策略計畫,建置目的是為了維護其為使用者提供 Internet 服務的創新領導地位。Hadoop 用於分析 Yahoo Japan 入口網站的大量資訊,並運用這項資料以改善Yahoo Japan服務品質和建立新的服務。再者,Hadoop 也支援電子商務,以及每天為公司提供數百萬使用者個人化相關內容的建議。

Yahoo Japan 採用 Brocade VDX Ethernet Fabric 模組化與固定埠網路交換器取代傳統的 Spanning Tree Protocol 協定。新部署的自動化網路連接數百台伺服器,支援專供整個企業執行 Hadoop 分析的數千個網路節點。

隨著巨量資料分析需求與可見價值的顯著提升,Yahoo Japan 很快就發現他們需要建構一個新而規模較大的 Hadoop 架構以提供整個企業分享。同樣顯而易見的是,傳統網路無法適用於新的 Hadoop 設計,理由包括資料吞吐效能限制、擴容困難、以及日益複雜化的營運,這些因素使得應用效能與可用性面臨考驗。

 

為巨量資料構築一個強固的基礎

為了支援新的 Hadoop 環境,Yahoo Japan 要求網路必須提供包括快速、經濟的擴充(scale-out)能力以容納新增節點,以及支援節點之間爆量的(bursty)高速通訊。經分析各項方案後,Yahoo Japan 決定 Ethernet fabric 架構最適合他們的新 Hadoop 環境,因為它可以簡單且靈活的擴充並且提供高資料吞吐量。

決定了那些網路條件可最佳支援 Hadoop 後,Yahoo Japan 非常審慎地比較和測試數種 Ethernet fabric 方案,評估它們的效能、功能性、成本和營運管理。完成測試比較後,該公司決定採納 Brocade VCS Fabric 技術和 Brocade VDX 交換器,理由包括效能、低延遲、高緩衝以及自動化部署和營運簡單化,讓他們可以免除手動組態時間。

今天,新構築的整體企業共享 Hadoop 網路基礎設施由包括數千節點的多重叢集組成。高密度 Brocade VDX 8770 模組化機箱式交換器作用為匯集交換器(aggregation switch),整合許多機架以便在交換器之間建立 fabric。VDX 機箱利用該交換器的高頻寬 multi-chassis trunking (MCT)功能連接到 Brocade MLXe 核心路由器。Yahoo Japan 也部署固定埠 Brocade VDX 交換器,建構 fabric 以支援 Yahoo Japan 集團公司其他使用的較小規模 Hadoop 專案。

 

分析師觀點:Ethernet Fabrics for Big Data

Gartner 報告指出「巨量資料伺服器會加重網路需求,並且在伺服器之間產生大量的爆發性東西向(server-to-server)流量。為克服這些挑戰,網路設計者必須確保他們的網路符合此特殊的需求。」

Gartner 在同一份報告也指出,巨量資料部署的交換器應該要能處理「伺服器之間的大量流量」並具備「高頻寬存取與上鏈介面」,以及「低延遲」。網路交換基礎也必須能處理「突爆性流量和多樣性的資料類型」特性,並提供「全線速度能力和低共用率(oversubscription)、更高的封包緩衝能力以及更低的延遲。已建置現代化 Ethernet Fabric (亦即一個 1-tier 或 2-tier 實體網狀或部分網狀拓樸)的企業符合上述網路需求。」

Yahoo Japan 網站營運基礎工程部,資料中心網路經理 Kenya Murakoshi 表示:「Brocade VCS Fabric 除了為我們的新 Hadoop 環境提供所需的高效能以支援龐大流量處理之外,也讓我們節省超過一半的部署和營運時間,顯著降低營運成本。相較於其他 fabric 技術,Brocade VCS fabric 具備令人難以置信的簡單化,讓我們能夠以極大的靈活性快速擴充網路容量。」

Brocade 資料中心與園區網路副總裁 Jason Nolet 表示:「採納我們 Ethernet fabric 交換器以支援企業巨量資料計畫的情形越來越多,Yahoo Japan 就是一個典型的代表。我們非常高興 Brocade 能夠成為 Yahoo Japan Hadoop 方案的一項關鍵技術,並且很驕傲地能夠提供最好的網路自動化與效能,協助 Yahoo Japan 大幅降低營運成本同時確保重要核心應用的最佳執行效能。」

欲瞭解更多資訊,可瀏覽:http://www.brocade.com

關鍵字: ,

發表迴響