[當Groq的SRAM技術結合SSD,黃仁勳正打算讓HBM淪為配角]
在半導體歷史的長河中,先驅往往容易成為先烈。2016年AMD推出了配備1TB SSD的Radeon Pro SSG,試圖讓GPU直接擁有海量儲存。當時這個概念被視為黑科技,最終卻因為軟體生態系的斷鏈、PCIe Gen3的頻寬瓶頸,以及缺乏像CUDA那樣強大的編譯器生態支援,淪為被市場遺忘的孤兒。
八年後,黃仁勳帶著GPUDirect Storage(GDS)技術捲土重來,徹底補齊了AMD當年遺失的拼圖,也補上要讓HBM讓出AI供應鏈主角的最後殺招。
GPUDirect技術的核心在於建立一條數據特快車道,讓儲存裝置與GPU記憶體之間能直接進行DMA傳輸,完全繞過CPU與系統主記憶體。這不僅降低了八成以上的延遲,更釋放了原本被數據搬運拖累的CPU效能。
NVIDIA收購Groq後的真正殺招也在此刻顯現。Groq的核心人才與SRAM調度技術,正好解決了從SSD串流數據時最難纏的微秒級遲滯。透過Groq的確定性調度,NVIDIA成功讓「GPU加硬碟」的架構,跑出了如同純記憶體般的流暢感。
[權重與快取的生存分離:GPUDirect串起的「萬兆模型」戰術]
為什麼我們現在需要把硬碟插進GPU大腦?這是一場關於生存空間的戰術分配。
在最新的AI推理架構中,NVIDIA執行了權重串流(Weight Streaming)與KV快取(KV Cache)的徹底分離。這是一個極具突破性的技術轉向。體積極大、相對靜態的模型權重,現在被安置在成本極低的SSD中,透過GPUDirect像流水般源源不絕地送入GPU。而那昂貴且頻寬極高的HBM,則被釋放出來,專門處理高動態、對延遲極度敏感的對話快取數據。
這套戰術讓單機運行10兆參數的模型不再是天方夜譚。
透過SRAM負責瞬時的邏輯調度,HBM負責短期對話記憶,以及SSD負責萬兆級別的長期知識庫,NVIDIA正在定義一套全新的黃金三角架構。這不僅解決了物理上的記憶體牆問題,更在商業上實現了降維打擊。當原本需要十台伺服器才能跑的模型,現在只需要一台配備高速SSD的工作站就能達成時,AI推理的經濟奇異點就正式降臨了。
[供應鏈的合縱連橫:從SanDisk併購預測到CXL的反擊]
這場技術革命正引發供應鏈的劇烈地震。2025年10月底,韓國HBM之父金正鎬預測NVIDIA可能併購美光或SanDisk,這並非單純的商業聯姻,而是為了掌握NAND Flash的底層韌體定義權。如果NVIDIA能像控制核心算力一樣,直接連接控制SSD的每一顆控制器,那傳統記憶體大廠的定價權將會瞬間瓦解。
三星與海力士顯然感受到了威脅,正積極推動CXL 3.1與PIM(記憶體內運算)技術來應對。他們試圖透過開放標準的記憶體池化技術,將運算能力直接植入記憶體晶片中,以此對抗NVIDIA的封閉皇權。這場封閉生態與開放聯盟的標準之爭,將決定未來十年AI硬體的利潤分配。
[幻影中的NVLink SSD:解決最後一英里的終極猜想]
在專家預測中,最令人屏息的莫過於NVLink SSD的降臨。目前的SSD即便有GPUDirect加持,依然受限於PCIe通道。如果NVIDIA讓SSD直接支援NVLink協議,這將徹底模糊儲存與記憶體的界線。這種幻影般的技術若成真,SSD將不再是外掛硬碟,而是被GPU視為可以隨時調用的遠端記憶體。
這套架構將為AI代理人建立一座真正的記憶宮殿。
SRAM提供了AI的反射神經,確保它在毫秒內反應。SSD則提供了海量的歷史積澱,讓AI記得你三年前的每一張合照。透過NVLink SSD的終極串聯,NVIDIA正試圖定義數位生命的生理構造。
當算力、記憶與儲存都在黃仁勳的軟體定義之下融為一體時,這不再只是技術的勝利,這是一個新帝國對AI供應鏈秩序的重新定義。
#NVIDIA,#Groq收購,#GPUDirect,#WeightStreaming,#SanDisk併購,#HBM之父,#NVLinkSSD,#記憶體主權
圖片:HBM之父金正鎬以及在台灣舉辦的OCP論壇上,由ScaleFlux演講的NVIDIA Storage Next技術細節
沒有留言:
張貼留言