智能制造網(wǎng)APP
智能制造網(wǎng)手機站
智能制造網(wǎng)小程序
智能制造網(wǎng)官微
智能制造網(wǎng)服務號
智能控制
機器人
儀器儀表
物聯(lián)網(wǎng)
3D打印
工業(yè)軟件
回放
回放
品牌
其他品牌
據(jù)IDC預測，2026年中國智能算力規(guī)模將達2024年的兩倍，其中推理算力增速將遠超過訓練，到2027年中國智能算力中推理占比將提高到72.6%。隨著大模型推理進入規(guī)?；涞仉A段，KV Cache 通過“以存換算”的思路，節(jié)省了GPU算力、提高了推理效率，成為AI推理應用落地的主流方案。
但隨著8K、16K、32K乃至更大上下文長度逐漸普及，KV Cache的規(guī)模呈線性增長；在多并發(fā)場景下，KV數(shù)據(jù)讀寫壓力更是呈指數(shù)級放大。比如，在Llama-405B上運行一個具有64K上下文的單個用戶需要15.75GB KV緩存，當擴展到32個用戶時，容量需求將飆升至504GB。如何高效承載KV Cache，已經(jīng)成為AI推理基礎設施架構中的核心議題。
此外，隨著AI推理走入我們的日常生活，衡量應用體驗和系統(tǒng)效率的關鍵指標——TTFT(Time To First Token，首次輸出Token時延)被越來越多用戶關注。TTFT不僅直接影響推理應用的用戶交互體驗，更決定單位時間內(nèi)可承載的有效請求數(shù)。
實現(xiàn)架構級優(yōu)化
目前，將KV Cache從GPU顯存中卸載已經(jīng)成為行業(yè)共識。相比本地SSD，外置分布式存儲具備更強的橫向擴展能力，能夠?qū)V訪問轉(zhuǎn)化為并行模型，且提供全局數(shù)據(jù)共享，支持大規(guī)模PD分離部署。這意味著在模型規(guī)模持續(xù)擴大、上下文不斷拉長、并發(fā)請求持續(xù)增長的情況下，存儲系統(tǒng)仍然能夠保持可控的TTFT與穩(wěn)定的吞吐能力。
基于這一趨勢，H3C UniStor X20000 AI原生存儲圍繞KV Cache場景進行了系統(tǒng)級協(xié)同調(diào)優(yōu)，使“外置存儲承載KV Cache”從概念方案真正演進為生產(chǎn)級可用架構。
X20000存儲通過EPC私有客戶端，將每個6MB文件自動切分為1MB粒度進行分布式并發(fā)處理。這種細粒度切分機制，將單次KV訪問轉(zhuǎn)化為多通道并發(fā)讀寫，數(shù)據(jù)均勻分布至多個存儲節(jié)點與引擎，使訪問天然具備并行性，從而有效降低單路徑阻塞概率。
同時，針對KV文件分布扁平、目錄與文件數(shù)量接近1:1的特點，X20000對目錄與文件分布進行均衡優(yōu)化，使數(shù)據(jù)在存儲引擎間實現(xiàn)更均勻分布，進一步降低訪問時延波動。這種優(yōu)化邏輯的核心在于：不是單純提升單盤性能，而是將KV Cache讀寫行為重構為“分布式并發(fā)訪問模型”。這是一種架構級優(yōu)化，而非參數(shù)級優(yōu)化。
測試數(shù)據(jù)：KV Cache卸載至X20000后TTFT最高降低72%
圍繞KV Cache卸載場景，實測數(shù)據(jù)顯示，當KV Cache命中率達到90%時，將KV數(shù)據(jù)卸載至X20000分布式存儲，TTFT得到大幅度優(yōu)化。
◆ 測試環(huán)境：
■ GPU: A100 * 4
■ 推理引擎：vLLM 0.9.2
■ 模型：Qwen2.5-14B
◆ UCM：性能最大提升6倍
■ 在90% KV Cache命中條件下，將KV Cache卸載至X20000存儲，相比純GPU計算模式，TTFT平均優(yōu)化超過4倍，最大接近6倍。
■ 在相同條件下，X20000的TTFT僅為本地SSD的28%~44%，最高下降72%。
■ 系統(tǒng)可擴展能力提升4倍，在TTFT不超過2秒的約束下，采用X20000存儲承載KV Cache后，模型的上下文長度可由8K擴展至32K，實現(xiàn)4倍提升，并發(fā)能力可由4路提升至16路，同樣實現(xiàn)4倍擴展。
◆ LMCache：性能最大提升10倍
■ 在90% KV Cache命中條件下，將KV Cache卸載至X20000存儲，相比純GPU計算模式，TTFT最大優(yōu)化10倍。
■ 系統(tǒng)可擴展能力提升4倍，在TTFT不超過2秒的約束下，采用X20000存儲承載KV Cache后，模型的上下文長度可實現(xiàn)8倍擴展，并發(fā)能力同樣實現(xiàn)8倍提升。在16K上下文場景中，不同并發(fā)條件下普遍達到10倍以上性能提升。
◆ 并發(fā)與上下文持續(xù)拉升，時延曲線依然平滑
同時，隨著并發(fā)數(shù)量或上下文長度持續(xù)增加，X20000的TTFT增長曲線保持相對平緩，而GPU純算模式與本地NVMe SSD方案則呈現(xiàn)明顯陡峭上升趨勢。也就是說，當系統(tǒng)進入真實生產(chǎn)負載階段——多用戶并發(fā)、多輪長對話、持續(xù)高壓訪問——X20000所承載的KV Cache訪問路徑更具穩(wěn)定性與可預測性。
X20000為AI應用構建可擴展的數(shù)據(jù)底座
在大模型推理進入規(guī)模化生產(chǎn)階段后，KV Cache已成為影響系統(tǒng)承載能力與用戶體驗的關鍵因素。作為AI原生存儲，X20000通過重構KV Cache訪問路徑，實現(xiàn)最大10倍性能提升，TTFT最大降低72%，并發(fā)能力提升4到8倍，幫助客戶實現(xiàn)更高推理效率、更大模型承載、更高并發(fā)能力，為AI應用構建可擴展的數(shù)據(jù)底座。
浙公網(wǎng)安備 33010602000006號
智能制造網(wǎng)APP
智能制造網(wǎng)小程序
微信公眾號
