洞察 Insights
英伟达“小钢炮”炸场:推理狂飙53倍,还把Mamba 2甩在了身后,这波操作太“顶”了!
英伟达最近发布了“小而精”的Jet-Nemotron系列小模型,不仅在H100 GPU上实现了最高53倍的推理吞吐量提升,还在多项基准测试中超越了Qwen3、Llama3.2等主流模型,甚至在架构上超越了Mamba 2。其核心黑科技是PostNAS(后神经网络架构搜索)和JetBlock(新型线性注意力模块),让模型在保持高精度的同时,运行效率飙升,预示着英伟达在小模型赛道上祭出了“王炸”!
阅读全文