2024年10月3日，知名半導(dǎo)體分析機(jī)構(gòu)SemiAnalysis發(fā)布了一篇名為《AI Neocloud Playbook and Anatomy》的GPU云技術(shù)的深度報告，翻譯后全文共2.6萬字。這篇報告全面分析了AI算力云（Neocloud）的構(gòu)建、經(jīng)濟(jì)模式、市場趨勢，以及未來展望，重點(diǎn)探討了H100 GPU租賃價格下降、即將推出的Blackwell GPU的影響，并提供了優(yōu)化BoM、網(wǎng)絡(luò)架構(gòu)、成本控制、以及提升可靠性和用戶體驗的實踐建議。

集群架構(gòu)

報告指出，AI算力云的興起標(biāo)志著全球算力需求的快速增長，尤其是GPU算力的租賃服務(wù)成為推動大模型訓(xùn)練的重要支持。AI算力云市場正逐步分化為四類主要玩家：傳統(tǒng)云服務(wù)商、AI算力云巨頭、新興算力云以及經(jīng)紀(jì)人/平臺類服務(wù)商，各自服務(wù)不同的客戶群體，滿足大模型訓(xùn)練和推理等不同需求。

傳統(tǒng)的超大規(guī)模云服務(wù)商如Google Cloud、Microsoft Azure等占據(jù)了重要地位，憑借其全方位的云計算生態(tài)系統(tǒng)，向大型企業(yè)和AI實驗室提供高成本、高性能的GPU服務(wù)。而AI算力云巨頭如Coreweave、Lambda Labs等，專注于GPU租賃服務(wù)，通過靈活的定價和大規(guī)模部署滿足市場對大模型訓(xùn)練和推理的需求。新興AI算力云服務(wù)商則主要面向區(qū)域性市場和較小的AI初創(chuàng)企業(yè)，為他們提供價格更具競爭力的算力解決方案。算力經(jīng)紀(jì)人和平臺聚合商通過平臺模式或市場模式，將算力資源進(jìn)行聚合和分配，幫助客戶以更低的價格獲取所需的GPU算力資源。

AI算力云的需求主要由AI初創(chuàng)企業(yè)和大型AI實驗室推動，這些機(jī)構(gòu)需要強(qiáng)大的GPU算力來支持大規(guī)模的AI模型訓(xùn)練和推理任務(wù)。大模型的預(yù)訓(xùn)練和微調(diào)需要數(shù)千甚至數(shù)萬個GPU的集群支持，因此成為了推動GPU需求增長的核心動力。尤其是隨著大語言模型和其他AI模型的規(guī)模不斷擴(kuò)大，這些企業(yè)必須依賴AI算力云來快速獲取足夠的GPU資源，以完成復(fù)雜的訓(xùn)練任務(wù)。

在市場需求方面，AI算力云的客戶群體涵蓋了不同規(guī)模和需求的AI企業(yè)。從大型AI初創(chuàng)公司到中小型AI企業(yè)，他們在模型訓(xùn)練階段需要巨大的算力投入。例如，報告中提到的OpenAI和Inflection AI等大型企業(yè)，通常與AI算力云服務(wù)商簽訂長期合作協(xié)議，在多個站點(diǎn)部署數(shù)萬塊GPU，以支持其大模型的訓(xùn)練。這些企業(yè)的需求推動了AI算力云巨頭如Coreweave和Crusoe等服務(wù)商的崛起，他們通過提供大規(guī)模的GPU集群，滿足這些客戶對高性能計算的需求。

此外，新興的AI初創(chuàng)企業(yè)雖然需求較小，但依然需要通過AI算力云獲取高效的訓(xùn)練資源。由于這些企業(yè)往往缺乏資金和技術(shù)能力自建基礎(chǔ)設(shè)施，因此他們更依賴AI算力云服務(wù)來靈活滿足訓(xùn)練需求。新興的AI算力云服務(wù)商專注于為這些中小型企業(yè)提供按需租賃和短期合同的算力支持，幫助他們完成模型的訓(xùn)練和微調(diào)。

在推理階段，AI模型需要在實際應(yīng)用場景中實時運(yùn)行，進(jìn)一步加大了對GPU資源的需求。尤其是大模型推理過程中，對算力的要求雖然相較訓(xùn)練任務(wù)有所降低，但仍需要強(qiáng)大的GPU集群支持，以確保低延遲和高效響應(yīng)。因此，AI算力云服務(wù)商不僅在模型訓(xùn)練階段提供算力支持，還在推理階段為企業(yè)提供高可用的GPU資源。

大模型推理過程

報告分析關(guān)注了市場需求、采購流程、定價策略、價格趨勢以及總擁有成本（TCO）。特別強(qiáng)調(diào)了H100 GPU租賃價格的下降，以及與即將推出的Blackwell GPU相關(guān)的定價預(yù)期。報告指出，GPU租賃定價分為按需、現(xiàn)貨和長期合同三種模式。按需租賃提供最大靈活性，但價格較高，通常用于開發(fā)和推理任務(wù)。合同訂閱則適合長期、大規(guī)模的訓(xùn)練任務(wù)，并提供更具競爭力的價格。最近，由于H100 GPU的供應(yīng)增長，租賃價格出現(xiàn)了明顯下降，尤其是在按需市場，價格下降了20-30%。這一變化反映出市場上閑置GPU資源的增多，同時也預(yù)示著GPU租賃市場的激烈競爭。隨著Blackwell GPU的推出，市場對H100的需求有可能發(fā)生進(jìn)一步變化，企業(yè)更傾向于簽訂短期合同，以應(yīng)對未來技術(shù)升級帶來的影響。

總體來看，AI算力云需求的驅(qū)動來自于AI大模型的持續(xù)發(fā)展和企業(yè)對高效算力資源的迫切需求。展望未來，AI算力云的市場規(guī)模將繼續(xù)擴(kuò)大，特別是隨著更強(qiáng)大的GPU產(chǎn)品如Blackwell的發(fā)布，市場的競爭將更加激烈。