歡迎來到WEPoker(微撲克)官網(wǎng),打造一個有趣的線上德?lián)淦脚_,為玩家提供豐富的在線德州游戲和德?lián)溴\標賽。俱樂部專注于為會員提供優(yōu)質(zhì)德?lián)潴w驗和客服服務,支持iOS和安卓客戶端APP下載

IT之家 6 月 7 日消息，面壁智能 6 日晚發(fā)布端側大模型 MiniCPM 4.0。該公司稱新模型通過自研 CPM.cu 推理框架，在極限場景下實現(xiàn)最高 220 倍提速，常規(guī) 5 倍提速，支持在 vLLM、SGLang、LlamaFactory 等框架部署。

此次發(fā)布的一款 8B 閃電稀疏版，采用創(chuàng)新稀疏架構掀起高效風暴；另一款 0.5B 則被稱作“輕巧靈動的最強小小鋼炮”。

德?lián)淙Π沧肯螺d

據(jù)IT之家了解，MiniCPM 4.0 可在 vLLM、SGLang、LlamaFactory、XTuner 等開源框架部署。其內(nèi)置自研 CPM.cu 極速端側推理框架，從投機采樣創(chuàng)新、模型壓縮量化創(chuàng)新、端側部署框架創(chuàng)新幾方面，帶來 90% 的模型瘦身和速度提升，官方宣稱將實現(xiàn)端側推理“從天生到終生”的絲滑。

據(jù)官方介紹，此次面壁推出的 MiniCPM 4.0 系列 LLM 模型擁有 8B、0.5B 兩種參數(shù)規(guī)模，針對單一架構難以兼顧長、短文本不同場景的技術難題，MiniCPM 4.0-8B 采用「高效雙頻換擋」機制，能夠根據(jù)任務特征自動切換注意力模式：在處理高難度的長文本、深度思考任務時，啟用稀疏注意力以降低計算復雜度，在短文本場景下切換至稠密注意力以確保精度，實現(xiàn)了長、短文本切換的高效響應。