这项由JetBrains商议团队与德国不来梅Constructor University合股开展的商议，于2026年5月以技巧呈报形状发布，编号为arXiv:2605.31268v1，感意思的读者可通过该编号检索完整论文。
**一个让模范员麻烦的老问题**
每当模范员掀开电脑，靠近一个需要写代码、改bug、查文档、问AI的下昼，他们都在微辞期待着一件事——有一个既理智又响应飞速的AI助手，随时等在傍边帮衬。问题是，理智的AI时时需要虚耗大都算力，运行起来要么很贵，要么很慢，要么两者兼容并包。低廉又快的AI，又时常在遭受复杂任务时掉链子。
JetBrains是一家以拓荒专科编程器具知名的公司，他们的产物每天都在公共数百万模范员的电脑上运行。正因如斯，他们比任何东谈主都明晰：一个真的好用的AI编程助手，不可只会填写代码片断，还要能写整个函数、改旧代码、找出bug、调用各式器具、在一个大名目的文献之间穿梭导航，致使要能像一个训诫丰富的共事那样和你聊编程。而这一切，都必须在模范员的普通电脑上通达运行，不可让东谈主比及捏狂。
为了惩处这个矛盾，JetBrains推出了他们的新一代模子——Mellum 2。这是他们早期阿谁只会填写代码的简便模子Mellum的全面升级版。新模子领有120亿个参数，却只在处理每个词的时候激活其中25亿个，很是于一个领有丰富学问储备的众人，念念考时只调用最关系的部分，而不是把统统驰念都翻一遍。
**一、大脑的结构：为什么不是"越大越好"**
要畅通Mellum 2的遐想念念路，不错把AI模子的参数遐想成一家大型藏书楼的藏书量。藏书越多，能恢复的问题就越平淡；但每次有东谈主来查尊府，若是必须把整个馆的书都翻一遍，那服从就太低了。理智的文籍管理员只会在关系的书架上查找。Mellum 2接纳的中枢技巧叫"搀杂众人架构"（Mixture-of-Experts，简称MoE），恰是这个风趣：模子里有64位"众人"，每次处理一个词时，唯有其中8位众人真的参与责任。这么，模子整个存储了120亿参数的学问，但履走时算量只很是于一个25亿参数的小模子。
JetBrains在遴荐这个架构之前，作念了大都的对比实验。他们开始尝试了密集型模子（Dense Model），也即是每次处理都激活统统参数的传统神情。他们测试了各式不同深度和宽度的树立，层数从24层到40层不等，荫藏维度从2304到4096不等，致使还尝试了DeepSeek团队遐想的一种叫作念"多头潜在谨慎力"（MLA）的特殊架构。遣发放现，在他们设定的速率管束下，莫得任何一个密集模子能踏实地超越Qwen2.5-7B这个7B参数的标杆模子。MLA架构如实允许把模子扩展到约55亿参数，同期保持疏通速率，但质料普及并不及以弥补检会复杂度增多带来的代价，而且那时复旧的潜在秩维度对他们的模子鸿沟来说太大了。
转向MoE架构后，他们参考了Qwen3-30B-A3B这个模子的遐想，按比例缩小以适配单张H100显卡的内存上限（低于180亿总参数）。众人数目固定为64个，因为更多众人会超出显卡内存。他们测试了不同的激活众人数目：激活2个众人的模子比激活8个的快约1.5倍，但质料流露变差；而在小鸿沟模子上，寥落渡过高如实有损质料，这与学术界此前的商谈论断一致。最终，"64个众人，每次激活8个"成为质料与速率的最好平衡点，在这个树立下，模子最高不错扩展到约150亿总参数，同期与Qwen2.5-7B保持很是的推理速率。
**二、谨慎力机制的全心编著**
除了众人架构自己，模子里还有一套叫作念"谨慎力机制"的安装，负责让模子畅通笔墨之间的关系——比如，在一段代码里，"这个变量"到底指的是前边哪个界说。这部分的遐想对运行速率影响极大。
传统的多头谨慎力机制，就像让一群东谈主同期盯着整篇文档的每个边缘作念条记，然后汇总。JetBrains在Mellum 2中使用了分组查询谨慎力（Grouped-Query Attention，GQA），把存储中间根除（也即是KV缓存）所需的"记载员"数目从时时的许多个压缩到唯有4个。这个数字的遴荐经过了仔细衡量：8个记载员会导致在高并发场景下吞吐量大幅着落，而只用2个记载员时，模子质料又会流露变差。4个恰好是甘好意思点。实验数据自满，Qwen2.5-7B用4个KV头能达到的并发吞吐量，与他们的前代模子Mellum-4B用8个KV头时或者很是，尽管前者参数目险些是后者的两倍。
另一个关节遐想是"滑动窗口谨慎力"（Sliding Window Attention，SWA）。正常的谨慎力机制，每个词都要和顺输入文本里统统其他词，跟着输入文本变长，计较量会急剧扩张。滑动窗口谨慎力则像一个焦点灯，每次只照亮隔壁一小段区域，大大缩短了大多数层的计较量。Mellum 2把28层Transformer中的21层（即四分之三）确立为滑动窗口谨慎力，窗口大小为1024个词元（token），剩余7层保持全局谨慎力，以确保模子在需要时仍能捕捉远距离的崎岖文信息。实验标明，窗口大小1024比512在质料基准上弘扬更好；而且带有滑动窗口谨慎力的MoE模子，在输入长度翻倍的情况下仍能保持与Qwen2.5-7B很是的延伸，在需要处理长代码文献的责任历程中上风显赫。
还有一个颇具巧念念的遐想：多词元计算头（Multi-Token Prediction，MTP）。时时模子每次计算下一个词，而MTP让模子在检会时特别计算再下一个词，用一个特别的Transformer层杀青，检会时特别增多的时候约7%。这个头在肃肃推理时会被移除，不影响模子自己的计算，但它带来了双重平允：一方面行为扶持检会倡导普及了模子质料，另一方面不错充任"推断解码"（speculative decoding）的草稿生成器，加快推理。在对比实验中，加入MTP的模子在HumanEval代码生成测试上普及了10.4个百分点，在MMLU学问测试上普及了3.6个百分点，在MMLU-Pro上普及了3.3个百分点，在GSM8K数学测试上普及了3个百分点。
**三、检会数据的三段式厨艺形而上学**
模子的"灵敏"来源于它看过的文本数据。Mellum 2的检会数据约达10.6万亿个词元，涵盖网页文本、源代码和数学内容三大类别。若是把检会过程比作整个全心遐想的套餐，那这三个阶段的安排就像是先打底、再提质、临了精好意思。
第一阶段叫"基础建立"，处理了约6.18万亿词元，占总量58%。这一阶段以网页和通用学问为主（约70%），代码占23%，数学唯有6%。目的是让模子先建立平日的言语畅通才略和基础代码畅通。这一阶段涵盖了学习率预热和保持阶段。
第二阶段叫"质料普及"，处理了约2.79万亿词元，占总量26.2%。代码比例大幅普及至42%，高质料精选数据集（包括指示奴隶数据、推理问答、STEM教悔数据、学问对皆著作）被引入。此阶段的精选数据是在学习率踏实后引入的，因为精选数据在这个时候服从更好。同期引入了新的合成代码数据集，原始代码语料库参预第二轮学习。
第三阶段叫"才略锐化"，处理了约1.69万亿词元，占总量15.9%。学习率参预线性衰减，代码比例进一步升至59%，网页内容缩减为唯有最高质料的精选来源。特别引入了代码审查和跨言语代码鬈曲等合成数据集，原始代码语料库参预第三轮学习。
代码数据本因素为三类：一是来自公开仓库的原始代码，按文献去重；二是从Common Crawl（一个大鸿沟网页快照）索求的含代码网页；三是合成和繁衍代码数据集，通过代码概要、功能扩展、言语鬈曲、测试生成、提交信息等神情为代码附受骗然言语注解，还有问答、代码重写、代码审查、代码教悔阐明等合成数据。商议发现，合成代码数据对小鸿沟MoE模子的匡助尤为流露，因为这类模子更需要数据的万般性。
网页和通用学问数据包括大鸿沟合成网页语料、讲授类网页内容、讲授PDF、多言语推理和问答数据集，以及精选学问来源——维基百科改写、合成百科条款等。数学数据则包含数学指示调优数据、多质料层级的数学网页内容、数学讲义和数学SFT数据。
数据重迭计谋也经过了全心遐想。高质料数据因为稀缺，会被屡次使用。袖珍精选代码数据集连气儿三个阶段，原始代码语料库资历三轮学习，合计孝敬约9580亿词元。但莫得任何数据集被重迭超越4次，因为实验发现超越这个次数之后，陆续重迭依然带不来收益了。而且关于MoE检会来说，高质料数据的屡次检会能灵验锐化众人专科化，这是只看一遍嘈杂数据作念不到的。
**四、填空检会：为IDE遐想的特殊手段**
除了圭臬的"下一词计算"检会，Mellum 2还有利作念了填空中间（Fill-in-the-Middle，FIM）检会。这对IDE代码补全至关要紧——当模范员把光标停在代码中间某处，需要AI补全这段内容时，AI必须同期看到光标前后的崎岖文，而不仅仅前边的部分。
FIM检会把文档速即分红三段（前缀、中间、后缀），用特殊标记从头成列后行为检会样本。商议团队使用PSM（前缀-后缀-中间）和SPM（后缀-前缀-中间）两种成列各占50%。FIM的比例也随检会阶段动态支持：第一阶段50%（应用于所至极据）；第二阶段降至10%（精选数据主要用圭臬计算神情消化）；第三阶段规复至50%，但只应用于源代码文献，非代码数据陆续用圭臬计算。
**五、优化器的遴荐：Muon的到手**
遴荐合适的优化器（即限度模子学习神情的算法）对检会质料至关要紧。商议团队测试了AdamW（深度学习领域最常用的优化器）和Muon（一种新式优化器，对荫藏层参数使用正交化更新）两种决策，并在两种不同的Muon树立下进行了对比：Megatron默许树立（特别缩放因子1.0）和Moonlight树立（特别缩放因子0.2）。
在密集型7B架构上，Megatron默许树立在检会约210亿词元时径直发散崩溃，而Moonlight树立大幅打败AdamW，考据亏蚀缩短了约0.028（很是于约2.5%的创新）。在MoE 14B架构上，两种Muon树立都能拘谨，Megatron默许树立最终亏蚀略好（低约0.026，约2.4%），Moonlight紧随自后。最终遴荐Moonlight树立，因为它在密集和MoE架构上都保持了踏实性。
学习诱惑受"预热-保持-衰减"（Warmup-Hold-Decay，WHD）计谋：先线性预热2000步到峰值3×10??，在第一和第二阶段保持峰值，在第三阶段（约49306步，占总检会时候15%）线性衰减到零。线性衰减到零比余弦衰减到非零最小值服从更好，能以更低的灵验计较量达到同等亏蚀。全局批量大小从2048个序列线性斜升到4096个序列，每步处理约3360万词元。检会精度以BF16为基础，合作FP8搀杂精度检会，梯度规约保持FP32精度以确保数值踏实性。
**六、检会过程中的有时插曲**
任何大鸿沟检会都会遭受出东谈主猜测的可贵，Mellum 2也不例外，而且商议团队遴荐坦诚地记载了这些资历。
检会初期出现了两次亏蚀尖峰，追查后发现是数据中有些序列词汇万般性极低——比如整个崎岖文窗口里就重迭解除个词元。惩处决策是过滤掉独到词元少于82个（占8192崎岖文长度1%）的样本。
此外，数据准备管谈按词元序列的哈希值排序，导致一些充足长的文档被切割成多个8192词元的块之后，这些块形成了皆备疏通的副本。哈希排序把这些副本放在每个数据分片的疏通位置，而每个检会阶段由16个均匀分片组成，导致每个阶段出现16次周期性的亏蚀着落。这些影响不大，是小幅且孤苦孤身一人的，对检会动态莫得可测量的影响，商议团队决定不处理。
检会半途，计较集群从32节点迁徙到16节点，保持全局批量大小不变。迁徙后全局负载平衡亏蚀流露着落，但这不是模子活动的变化，而是Megatron-LM杀青全局扶持亏蚀的神情在节点数变化时产生的积蓄语义各异——节点减少意味着每步梯度积蓄的微批次更多，运行平均值更接近真实分散，算出的亏蚀系统性地更低，但优化信号是等价的。
**七、扩展到超长崎岖文：从8K到128K的向上**
基础预检会完成后，Mellum 2的崎岖文窗口还唯有8192个词元，大要只可装下十几页代码。为了让模子处理更大的代码库和更长的对话，商议团队进行了有利的长崎岖文扩展检会，将崎岖文扩展至131072个词元（约128K）。
扩展的中枢技巧是YaRN——一种支持模子位置编码频率的法式，匡助模子畅通更长序列中词语的相对位置。但有一个关节的巧念念：商议团队并莫得把YaRN应用到统统层，而是只应用到全局谨慎力层（每四层中的那一层），让滑动窗口层保持底本的位置编码参数。这种"层遴荐性YaRN"的念念路最早由Gemma 3团队提倡，OLMo 3也随后接纳。Mellum 2的消融实验与他们的发现一致：在64K评估崎岖文下，层遴荐性YaRN的RULER评分（一个测试长崎岖文畅通才略的基准）为0.64，流露优于长入支持RoPE基础（0.52）和不作念任何支持（0.33）。差距随崎岖文长度增多而扩大，不支持的模子在超越32K后皆备崩溃，长入支持则无谓要隘搅扰了本来运作正常的滑动窗口层。
长崎岖文检会数据是第三阶段预检会数据的从头平衡版块，加入了一部分当然包含长崎岖文示例的智能代理SFT数据。从头平衡时有利下采样了长推理链，因为发现它们主导了长崎岖文数据的尾部，会让模子偏向推理立场输出而牺牲通用长崎岖文才略。商议团队还在扩展数据中加入了基于仓库级崎岖文的FIM格款式本，延续Mellum 1的作念法，将关系文献级蚁合成前缀，确保模子在长距离跨文献代码补全时也能学到正确的谨慎力模式。
检会约300亿词元后，RULER评分在统统测试崎岖文长度上就依然接近最终值（误差约1个百分点），在线买世界杯平台但MoE路由器的负载平衡亏蚀在尔后仍不息着落——路由器还在陆续顺应新的序列长度模式。基于这个信号，商议团队将检会延长到3500轮（约1170亿词元），闪开由器充分踏实后再退火。峰值学习率为3×10??，比预检会低一个量级。
**八、两个秉性不同的"学生"：Instruct和Thinking**
长崎岖文检会完成的基础模子还不可径直被用户使用，还需要"后检会"：先作念监督微调（SFT），再作念强化学习。商议团队从解除个长崎岖文检查点动身，检会出两个立场不同的变体。
Instruct（无念念考）变体是一个径直恢复助手，不展示里面推理过程，损左计较掩饰对话中的每个助手轮次，来源数据中的推理字段会被丢弃。Thinking（念念考）变体是一个推理增强助手，在给出最终谜底前会先生成一段里面推理链，唯有临了一个助手轮次（连同它的推理轨迹）孝敬亏蚀，短缺推理轨迹的对话会被抛弃，而且为了放大多轮对话数据的灵验信号，每段多轮对话最多会产生5个检会样本（通过在连气儿助手轮次上滑动亏蚀倡导杀青）。
两个SFT版块的数据涵盖多个大类。通用对话和指示奴隶，包括绽放域问答、阅读畅通、多选题和短形状指示奴隶。单轮编码，涵盖多种编程言语的代码生成、编著、阐明和翻译，有有利针对C++、Python、C#、JavaScript和TypeScript竞赛编程的子集。智能代理编码，包括长程交互代理轨迹（早期和改变版），包含SWE立场的仓库级编著任务，为模子提供导航代码库、规画多门径编著、考据中间根除的模式。器具使用和函数调用，涵盖通用函数调用形状、Bash奉行、泄露器具和搜索器具，教会模子正确调用器具并从器具作假中规复。推理轨迹，包含带有念念维链的示例，涵盖数学、代码和通用推理，在处理时为Instruct变体过滤掉。安全数据，来自绽放许可安全语料库，目的是减少无益输出而不毁伤良性代码教唆的有用性。身份示例，一小组自我记号对话，过采样3倍，让模子可靠地以"Mellum 2"先容我方。钦慕的是，在莫得这类数据的运转检会中，模子历久把我方描绘为谷歌拓荒的AI助手，尽管检会中莫得使用任何谷歌模子生成的合成数据。
SFT检会从长崎岖文YaRN检查点运滚动，与预检会使用疏通的分散式Muon优化器，在各自的打包数据集上检会三轮。学习率峰值为3×10??（预检会峰值的十分之一），余弦衰减至3×10??（峰值的10%）。MoE扶持负载平衡系数从10??降至10??，因为路由器在预检会后依然平衡，更小的系数幸免在较窄的SFT分散上过度管束众人运用率。Instruct版块虚耗约470亿词元，Thinking版块虚耗约1670亿词元。
**九、用奖励机制打磨最终手段**
SFT之后是强化学习（RL）阶段，用模范可考据的奖励信号（RLVR）进一步精好意思。遴荐RLVR而非依赖东谈主类反馈强化学习（RLHF）的原因是：检会语料库中每个教唆都有明确的模范化正确性检查法式，不需要检会一个单独的奖励模子（阿谁模子的误差会混浊梯度信号）。
RL基础设施分为检会节点（持有计谋权重、运行梯度更新）和推理节点（托管生成引擎、产生检会样本）两组，由Ray支持、Kubernetes编排。检会用NeMo-RL框架，通过Megatron-Bridge树立，精度与预检会疏通（BF16/FP8搀杂）。生成用vLLM。奖励计较孤独运行在单独的微干事集群，通过考据网关路由到不同后端：代码奉行沙箱（基于单位测试）、数学谜底考据器（记号和数值相比）、LLM-as-a-Judge干事（评判目田形状输出），以过火他专用环境（如有景象器具对话的会话管理）。
RL数据分为Instruct和Thinking两套组合，各约26万条检会教唆和3600条考据教唆，按才略领域分散。代码域各占22%，各57500条。数学域在Instruct中占23%（6万条），Thinking中占28%（7.2万条）。智能器具使用在Instruct中占14%（3.6万条），Thinking中占12%（3.1万条）。指示奴隶在Instruct中占19%（4.95万条），Thinking中占21%（5.35万条）。推理在两套中各占13%（3.5万条）。学问在Instruct中占9%（2.25万条），Thinking中仅占4%（1万条），因为过多MCQA袒露会毁伤指示奴隶质料。
代码域数据攀附了竞赛编程题库、数学与代码配对数据集（让模子用Python奉行器具惩处数学问题，也计入数学域），以及商议团队自建的12种编程言语真实任务集——掩饰全新杀青、从堆栈追踪调试、测试生成、活动修改、文献系统与API集成、安全加固六类责任，每个任务附带测试套件，通过率界说奖励信号。
数学域数据以三种互补立场组成：纯数学（无器具，严格匹配考据）、带计较器器具的数学（模子发出计较器器具调用并使用复返值）、带代码奉行的数学（用Python奉行器具计较中间量）。
RL算法是GRPO（一种近端计谋优化变体）的定制版块。亏蚀在词元层面计较，每个灵验生成词元对梯度孝敬疏通（遵命DAPO和Dr. GRPO的建议）。上风用留一基线计较，不作念圭臬差归一化（遵命Dr. GRPO）。每个教唆采样G个响应，过采样约1.5倍，丢弃组内奖励方差为零的教唆组。PPO编著使用不合称范围（低编著低于高编著），"更高编著"确立让正上风更新比负上风更新流动得更目田（来自DAPO）。不使用KL刑事牵扯项将计谋锚定到SFT参考，与最近的大鸿沟绽放RL系长入致。
MoE路由器带来了一个特殊挑战：即使推理时和检会时用的是解除套权重，解除个荫藏景象可能被路由到不同众人，导致对解除词元的对数概率不同。商议团队用IcePop截断法式惩处这个问题：对每个生成词元，只在检会-推理比率（ρ_t）处于[α， β]区间内时才保留其亏蚀孝敬，超出区间则径直归零，而不是像PPO编著那样压缩到领域值。这是更安全的作念法，因为大ρ_t很可能是众人切换导致的，而不是真恰好得应用的计谋更新。
奖励塑形还加入了两条律例。一是软超长刑事牵扯（来自DAPO）：在最大响应长度的缓冲区内，奖励在区间下边缘的原始分数和长度上限处的树立下限之间线性插值，超越长度上限的皆备从亏蚀中删除。二是讲感性刑事牵扯，有利应用于非念念考型响应：在早期Instruct运行中发现模子开首在莫得think标签的情况下产生内嵌推理，与Instruct模子的部署范例相背。这种"等等，我再想想"式的推理模式有很是踏实的词汇标记，商议团队按触发词数目分三个强度档乘性地缩减正确响应的奖励，只在这些词汇不属于正当输出的任务上应用。这个刑事牵扯服从显赫：在接近检会终局时采样的数学响应中，无讲理刑事牵扯版块平均每个响应有7.3个反念念触发词（每千字符0.75个），而启用刑事牵扯的坐蓐版块唯有0.6个（每千字符0.21个）。
RL超参数两个阶段分享，每步256个教唆，每教唆16个生成，全局批量大小4096，过采样因子1.5倍，轨迹最大滞后2步，PPO编著范围0.2/0.28，IcePop区间[0.5， 5.0]，KL系数为零，AdamW优化器（β?=0.9， β?=0.999，权重衰减0.01），峰值学习率1×10??，衰减至1×10??，梯度范数上限1.0，最多10轮器具调用。主要各异在于：Instruct最大序列16384词元，检会500步；Thinking最大序列40960词元（需要更长念念维链），检会100步，每步微批次大小降至1。
**十、实战弘扬：何处强，何处弱**
预检会评估将Mellum 2 Base与OLMo-3-7B、Qwen2.5-7B、Qwen3-4B-Base和Qwen3.5-4B-Base对比。尽管只激活25亿参数，Mellum 2在多个推理和代码任务上能与7B密集模子竞争致使超越。在MMLU-Pro（高档多任务学问测试）上达到59.3%，超越Qwen3.5-4B（52.4%）和Qwen2.5-7B（48.6%）。BBH（复杂推理）达74.9%，超越OLMo-3-7B（63.6%）、Qwen2.5-7B（69.0%）和Qwen3-4B（71.3%）。GSM8K（数学笔墨题）达81.7%，与Qwen2.5-7B（81.9%）和Qwen3-4B（82.0%）持平。MBPP/MBPP+（代码生成）差异达62.4%/61.4%，超越OLMo-3-7B和Qwen3.5-4B。GPQA Main（商议生级科学问答）达35.0%，超越OLMo-3-7B（27.9%）和Qwen2.5-7B（34.2%）。相对薄弱的是HumanEval（41.5%），不事后检会阶段显赫普及了这个目的。
后检会评估则将两个变体与Qwen3.5-4B、Qwen3.5-9B、OLMo-3-7B、Ministral-3-14B、Seed-Coder-8B对比，掩饰代码、器具使用、数学、学问、对话和安全七个才略域。
开云2026世界杯官方授权平台在代码域，EvalPlus（HumanEval+和MBPP+的平均，测试函数级代码合成才略）上Mellum 2-RL达78.4%，当先统统对比模子，包括Qwen3.5-9B（71.8%）和代码专用的Seed-Coder-8B（73.8%），这恰是预检会数据径直针对的领域。LiveCodeBench v6（竞赛编程）上Instruct变体为37.2%，逾期Qwen3.5系列（51.0%和63.7%），但Thinking变体的SFT版块达75.1%，成为测试组中的最高分，当先Qwen3.5-9B-Thinking 6.8个百分点，阐明算法推理在模子才略范围内，但需要显式念念考预算才调开释。MultiPL-E（多言语代码）居中。
在器具使用域，RL带来了最大的单步普及：BFCL v3（多轮函数调用）从43.1%跳至66.3%（Instruct），Thinking变体的SFT到RL从60.5%升至69.4%，超越Qwen3.5-9B-Thinking（68.5%）。BFCL v4（加入智能网页搜索和驰念器具）上，Mellum 2-RL-Thinking以45.6%当先全组，高于Qwen3.5系列（42.9%/42.7%）。
数学域相通受益于RL：AIME（高中数学竞赛，2025和2026各30题）从SFT-Instruct的29.9%普及至RL-Instruct的41.7%，Thinking模式从20.0%普及至58.4%。SFT-Thinking的AIME得分低于SFT-Instruct，商议团队以为这是因为Thinking头需要经过RL阶段的数学推理检会才调正确校准。GSM-Plus（数学鲁棒性测试）RL-Thinking达87.0%，接近Qwen3.5-9B-Thinking（90.7%）。
学问域是最流露的弊端：MMLU-Redux和GPQA Diamond上Qwen3.5系列当先显赫（91.1%/79.8% vs. 78.1%/40.9% Instruct），GPQA（商议生级科学问答）尤为流露，这径直反应了检会数据倾向代码和拓荒者文档而非平淡百科学问的衡量。
对话域呈现存趣分化：JetBrains里靠近比Qwen2.5-7B-Instruct的配对胜率，Mellum 2-RL-Thinking以69.5%当先全组，高于Ministral-3-14B-Thinking（63.8%）和Qwen3.5-9B-Thinking（56.7%），阐明在代码感知的拓荒者场景下，领域闇练度滚动为了真实上风。而在通用对话（IFEval、MixEval）上则居中。BS-Bench（测试对作假前提的反驳才略）上Mellum 2得分14-24，流露低于Qwen3.5系列（56-70），阐明SFT/RL信号倾向顺从而非反驳，这是后续版块需要创新的场所。
安全域上，SFT-Instruct在HarmBench（无益率，越低越好）上以8.4%成为Instruct表格中最安全的模子，Ministral-3-14B（56.5%）和Seed-Coder-8B（40.0%）远高于此。RL变体雕零至23.1%，与偏好优化阶段减弱拒却活动的已知景象一致，这是商议团队明确标注的待创新项。XSTest（安全合规率）上Mellum 2逾期最大基准模子约10个百分点，阐明有些安全教唆被过度拒却，与HarmBench雕零组成对称问题，需要合股优化。
**十一、跑得快才调留得住：推理服从的实测数据**
在履行部署速率测试中，统统对比在单张H100 GPU（80GB）上使用vLLM干事和动态FP8量化，以代码补全坐蓐责任负载为代表性测试场景（平均输入2304词元，平均输出256词元），测试同步模式（单苦求串行延伸）和吞吐量模式（并发高负载不息处理）。
根除数据：同步模式下Mellum 2达192词元/秒，与Qwen2.5-7B的193词元/秒险些持平，Qwen3-8B唯有169词元/秒。吞吐量模式下Mellum 2达5179词元/秒，比Qwen2.5-7B（4283词元/秒）高21%，比Qwen3-8B（2897词元/秒）高79%。不息苦求率差异是Mellum 2每秒20.2个苦求，Qwen2.5-7B每秒16.7个，Qwen3-8B每秒11.3个。这阐明Mellum 2完好达成了遐想倡导：单苦求延伸匹配7B密集基准，并发干事才略大幅当先。
**将来的路梵衲待惩处的问题**
归根结底，Mellum 2是JetBrains在一个具体工程管束下的肃肃探索：给定一张普通显卡、一个速率预算，如安在这个管束下塞进尽可能多的才略。他们的谜底是120亿总参数、25亿活跃参数的MoE结构，加表层遴荐性滑动窗口谨慎力和多词元计算头。
这套决策在代码合成、器具调用、数学推理上弘扬可不雅，在平淡宇宙学问和安全反驳上还有流露差距。商议团队莫得规避这些弊端，而且明确指出了下一步场所：把模子推向更复杂的软件工程仓库级任务（SWE RL场所），扩大RL基础设施和环境掩饰，以及从头凝视长崎岖文中期检会数据的配方。此外，他们还策画鄙人一个版块切换到无扶持亏蚀的负载平衡决策，并从头评估搀杂谨慎力架构（如Gated DeltaNet）——前者跟着开源推理框架的复旧迟缓造就，后者在短崎岖文推理服从方面的颓势也在跟着内核优化而缩小。
更长期地看，遴荐架构时以固定推理预算为管束条件的遐想法式，自己也为将来更大、依然和顺推理服从的Mellum掀开了门。统统基础、Instruct和Thinking检查点都以Apache 2.0许可证绽放，感意思的商议者和拓荒者不错通过arXiv编号2605.31268v1找到完整技巧呈报。
Q&A
Q1：Mellum 2的MoE架构和普通AI模子有什么区别？
A：普通模子每次处理都激活全部参数，而Mellum 2的MoE架构在64个"众人"中每次只激活8个，很是于领有120亿参数的学问储备，但履走时算量唯有25亿参数级别。这让模子能在普通显卡上以较低的计较老本提供更强的学问掩饰，推理速率与7B密集模子很是致使更快。
Q2：Mellum 2的Instruct版和Thinking版有什么区别？
A：Instruct版径直给出谜底，不展示推理过程，合乎需要快速响应的日常编程任务。Thinking版在恢复前会先生成一段里面推理链，访佛于先在草稿纸上推演再写谜底，在数学竞赛题和复杂算法问题上弘扬更好，LiveCodeBench上Thinking-SFT版块以75.1%当先统统对比模子。
Q3：Mellum 2的长崎岖文扩展是如何作念到的？
A：商议团队接纳了"层遴荐性YaRN"技巧世界杯(中国)，只对全局谨慎力层支持位置编码频率，让滑动窗口层保持原参数，将崎岖文从8192词元扩展到131072词元（约128K）。关节发现是检会约300亿词元后质料就已接近上限，但路由器还在不息顺应，因此将检会延长到1170亿词元闪开由器充分踏实。