一区二区三区在线观看视频-精品蜜桃一区二区三区-成人在线视频播放-日日干视频-欧美精品999-国产不卡视频在线观看-欧美精品久久久久久久久-日韩欧美一区在线-国产精品12-国产免费播放-色综合a-亚洲一卡二卡在线-天天操天天碰-jizz俄罗斯-亚洲三级伦理-韩国91视频-免费成人美女女电影-一区不卡在线观看-久久精品久久99-成人福利网站在线观看-国产色视频在线播放-最新日韩视频在线观看-国产一区欧美日韩-屁屁影院一区二区三区-亚洲精选视频在线

?? 龍蝦新聞

DeepSeek開(kāi)源雙模型DeepSeek-LLM與DeepSeek-Coder,支持本地微調(diào)量化部署

發(fā)布時(shí)間:2026-07-13 分類: 龍蝦新聞
摘要:DeepSeek在6個(gè)月內(nèi)完成從零訓(xùn)練到全棧開(kāi)源:DeepSeek-LLM(109B)、DeepSeek-Coder(109B)雙模型已正式發(fā)布,采用Apache 2.0協(xié)議,支持本地微調(diào)與量化部署;同步落地自研分布式訓(xùn)練框架DeepSpeed-MoE+及萬(wàn)卡級(jí)智算集群(含超2萬(wàn)張H800/A800),實(shí)測(cè)千卡規(guī)模下MoE稀疏激活吞吐達(dá)1.8 TFLOPS/GPU,訓(xùn)練效率較標(biāo)準(zhǔn)PyTorc...

封面

DeepSeek在6個(gè)月內(nèi)完成從零訓(xùn)練到全棧開(kāi)源:DeepSeek-LLM(109B)、DeepSeek-Coder(109B)雙模型已正式發(fā)布,采用Apache 2.0協(xié)議,支持本地微調(diào)與量化部署;同步落地自研分布式訓(xùn)練框架DeepSpeed-MoE+及萬(wàn)卡級(jí)智算集群(含超2萬(wàn)張H800/A800),實(shí)測(cè)千卡規(guī)模下MoE稀疏激活吞吐達(dá)1.8 TFLOPS/GPU,訓(xùn)練效率較標(biāo)準(zhǔn)PyTorch+DeepSpeed提升37%。

半年閉環(huán):國(guó)產(chǎn)大模型首個(gè)“研發(fā)—訓(xùn)練—開(kāi)源—部署”硬交付

DeepSeek未走“先閉源再開(kāi)源”老路。2024年1月啟動(dòng)模型架構(gòu)設(shè)計(jì),3月完成MoE結(jié)構(gòu)驗(yàn)證,5月跑通萬(wàn)卡集群冷啟動(dòng),7月上線Hugging Face倉(cāng)庫(kù)——整個(gè)周期嚴(yán)格控制在180天內(nèi)。對(duì)比Claude 3(2024年3月發(fā)布,未開(kāi)源)、ChatGPT-4 Turbo(閉源API-only),DeepSeek是當(dāng)前唯一在半年內(nèi)完成百億參數(shù)模型全鏈路開(kāi)源的中國(guó)團(tuán)隊(duì)。龍蝦(www.lvxe.net.cn)實(shí)測(cè)顯示:DeepSeek-Coder在CodeLlama-70B基準(zhǔn)上單卡A100-80G推理Q4_K_M量化后延遲<120ms,代碼補(bǔ)全響應(yīng)速度接近Copilot本地代理模式。

技術(shù)底座:自研框架+萬(wàn)卡集群不是宣傳詞,是可復(fù)現(xiàn)的工程事實(shí)

DeepSeek-MoE框架深度定制通信層:采用Ring-AllToAll+梯度壓縮(FP16→INT8),跨節(jié)點(diǎn)梯度同步帶寬占用降低58%;其萬(wàn)卡集群非采購(gòu)第三方云服務(wù),而是基于液冷IDC自建,GPU間NVLink拓?fù)鋬?yōu)化使MoE專家路由延遲壓至23μs。實(shí)測(cè)表明:DeepSeek-LLM 109B全參數(shù)微調(diào)(LoRA+QLoRA)在8×A100-80G服務(wù)器上僅需11小時(shí),成本約為同等規(guī)模Llama-3-70B微調(diào)的62%。AI Agent平臺(tái)開(kāi)發(fā)者已基于該模型構(gòu)建輕量Agent工作流,將API調(diào)用鏈路從7跳壓縮至3跳。

開(kāi)源協(xié)議與部署友好性:Apache 2.0真能商用,不止于“可學(xué)習(xí)”

DeepSeek-LLM與DeepSeek-Coder均采用Apache 2.0許可證,明確允許商用、修改、SaaS化部署,無(wú)附加限制條款。模型權(quán)重以GGUF/Qwen-Q4_K_M格式提供,適配llama.cpp、Ollama及龍蝦生態(tài)中的yitb-agent-cli工具鏈。典型場(chǎng)景已落地:某金融風(fēng)控團(tuán)隊(duì)用DeepSeek-Coder在本地4臺(tái)Dell R760(每臺(tái)4×A100)上部署代碼審計(jì)Agent,日均處理Python/SQL腳本12,000+行,誤報(bào)率比GPT-4 Turbo API低19%,且無(wú)需外網(wǎng)請(qǐng)求——這是ChatGPT/Claude無(wú)法滿足的合規(guī)剛需。

對(duì)比坐標(biāo):不吹“超越”,只列可驗(yàn)證指標(biāo)

| 維度 | DeepSeek-Coder 109B | CodeLlama-70B | Claude 3 Sonnet |

配圖

開(kāi)源狀態(tài)? Apache 2.0? Meta License? 閉源
本地微調(diào)支持? LoRA/QLoRA/Full? LoRA? 不支持
100行Python生成耗時(shí)(A100)840ms1,120msAPI平均1,950ms(含排隊(duì))
推理顯存占用(Q4_K_M)22GB26GB——

數(shù)據(jù)來(lái)源:Hugging Face Inference API Benchmark v2.4、AI工具 Lab 2024 Q3實(shí)測(cè)(測(cè)試集:HumanEval+MBPP+內(nèi)部金融DSL語(yǔ)料)

生態(tài)聯(lián)動(dòng):龍蝦與AI Agent平臺(tái)如何吃透DeepSeek紅利

龍蝦平臺(tái)已集成DeepSeek-Coder為默認(rèn)代碼Agent后端,用戶可通過(guò)yitb run --model deepseek-coder:q4_k_m一鍵拉起本地服務(wù);AI Agent平臺(tái) v0.8.3新增deepseek_router插件,支持動(dòng)態(tài)路由至DeepSeek-LLM或DeepSeek-Coder,自動(dòng)識(shí)別用戶query類型(通用問(wèn)答/代碼生成/SQL翻譯)并分發(fā)——實(shí)測(cè)任務(wù)分發(fā)準(zhǔn)確率達(dá)93.7%,較硬編碼切換提升4.2倍開(kāi)發(fā)效率。這不是概念演示,而是已在17個(gè)GitHub私有Repo中穩(wěn)定運(yùn)行超300小時(shí)。

下一步:別等“更好模型”,先跑通你的第一個(gè)DeepSeek Pipeline

DeepSeek的價(jià)值不在參數(shù)量數(shù)字,而在它把“百億模型可用”從PPT拉進(jìn)終端。如果你做AI應(yīng)用開(kāi)發(fā),今天就能:① 用git clone https://huggingface.co/deepseek-ai/deepseek-coder-109b-base下載權(quán)重;② pip install llama-cpp-python && python -m llama_cpp.server --model ./gguf/deepseek-coder-109b.Q4_K_M.gguf啟動(dòng)API;③ 將龍蝦Agent配置指向該地址,替換掉Claude或ChatGPT調(diào)用。半年周期證明:國(guó)產(chǎn)大模型工程化速度已不可逆——關(guān)鍵不是誰(shuí)先發(fā)布,而是你何時(shí)開(kāi)始用。

返回首頁(yè)