浪潮信息宣布元腦企智一體機已率先完成對Kimi K2萬億參數大模型的適配支持,并實現單用戶70 tokens/s的流暢輸出速度。Kimi K2是月之暗面推出的開源萬億參數大模型,模型總參數量達1萬億,激活參數為320億。元腦企智一體機采用元腦服務器NF5688G7作為算力底座,其搭載FP8計算引擎,配備1128GB HBM3e高速顯存,單臺服務器即可支持K2萬億參數全量模型部署,為Kimi K2提供了專家間高速并行通信,最大化并行效率。(美通社)