西安月子中心网站制作建官网个人网站

西安月子中心网站制作,建官网个人网站,手机网站建设培训,国外的优秀网站今年大厂接连聘请90后AI高管#xff0c;亚历山大王在Meta成为杨立昆的领导#xff0c;姚顺雨执掌腾讯AI新部门#xff0c;罗福莉现身小米发布会。本以为小米又发了一个无人在意的模型#xff0c;直到我刷到老外的惊呼#xff0c;才发觉事情可能没这么简单。罗福莉这个名字…今年大厂接连聘请90后AI高管亚历山大王在Meta成为杨立昆的领导姚顺雨执掌腾讯AI新部门罗福莉现身小米发布会。本以为小米又发了一个无人在意的模型直到我刷到老外的惊呼才发觉事情可能没这么简单。罗福莉这个名字对于大部分人是陌生的从北师大到北大从阿里达摩院到DeepSeek再到小米她参与了混合专家模型DeepSeek V2的研发。被捧成“AI天才少女”但这恰好是她最不想要的她只想专心做事、做模型。最近罗福莉发布的MiMo-V2-Flash是一个总参数量3090亿激活参数150亿的MoE模型。这项研究的核心创新在于三个方面混合滑动窗口注意力SWA的高效信息处理架构、能够同时预测多个词汇的多token预测技术MTP以及一套被称为多教师在线蒸馏(MOPD)的全新训练方法。这些技术的组合不仅让MiMo-V2-Flash在数学推理、代码编写和智能体任务上表现出色还让它的推理速度最高提升了2.6倍。这个模型在多项测试中击败了参数规模是它两到三倍的竞争对手包括DeepSeek-V3.2和Kimi-K2这样的行业顶尖选手。小米团队已经将模型权重开源。注意力的智慧为什么AI不需要面面俱到要理解MiMo-V2-Flash的核心创新我们首先需要明白AI是如何阅读和理解文本的。想象你正在读一本厚厚的小说你的大脑不可能同时关注书中的每一个字。相反你会在阅读当前段落时主要关注附近的内容偶尔回忆一下前几章的重要情节。这种阅读方式既高效又有效而MiMo-V2-Flash正是采用了类似的策略。传统的AI模型使用全局注意力机制在处理每一个词时模型都要考虑文本中的所有其他词。这就好比你在阅读小说的第500页时需要同时回忆前面499页的每一个细节显然这既耗时又耗力。更糟糕的是这种计算量会随着文本长度的增加呈平方级增长文本长度翻倍计算量就要翻四倍。MiMo-V2-Flash采用了一种更聪明的方法叫做混合滑动窗口注意力。它的工作原理是这样的大部分时候模型只关注当前位置附近128个词的小窗口就像你阅读时主要关注当前段落。但每隔一段时间模型会进行一次全局扫描回顾整个文本的关键信息。具体来说模型每处理5个使用滑动窗口的层之后就会插入一个使用全局注意力的层。这种5比1的混合比例让模型在保持高效的同时不会错过文本中的重要远程信息。研究团队在设计这个架构时发现了一个反直觉的现象更小的滑动窗口反而能带来更好的效果。他们测试了128个词和512个词两种窗口大小发现128个词的小窗口不仅在常规任务上表现更好在需要理解超长文本的任务上也更胜一筹。这就像是一个专注力极强的阅读者虽然每次只关注很小的范围但正因为足够专注反而能更好地把握整体脉络。这种现象背后的原因可能是分工明确。当滑动窗口足够小时这些层就会专心处理局部信息而把远程依赖的工作完全交给全局注意力层。相反如果滑动窗口较大两种层的职责就会模糊导致学习效率下降。这就像一支足球队如果每个球员都既想进攻又想防守反而不如前锋专心进攻、后卫专心防守来得有效。研究团队还引入了一个精巧的技术细节叫做可学习的注意力汇聚偏置。简单来说这个机制允许模型在某些情况下选择什么都不关注。想象你在读一段废话连篇的文字与其强迫自己从每个词中提取信息不如承认没什么重要的然后跳过。这个偏置就是给模型提供了这种跳过的能力大大提升了模型处理长文本的能力。一次猜三个词多Token预测的加速魔法传统的语言模型工作方式是一次一个词给定前面的内容预测下一个词然后把这个词加入上下文再预测下下个词。这就像一个打字员用一根手指敲键盘每次只能按一个键。虽然能完成工作但效率实在不高。MiMo-V2-Flash采用了多Token预测技术让模型能够同时预测接下来的多个词。就像练习打字学会了用几根手指同时敲击不同的键打字速度自然大幅提升。具体来说MiMo-V2-Flash在训练时使用一个预测层在实际推理时扩展到三个预测层能够一次性猜测接下来的三个词。不仅仅是简单的加速研究团队发现多Token预测还能提升模型的思考质量。这可能是因为当模型需要同时预测多个词时它被迫进行更深入的理解和规划而不是仅仅依赖表面的统计规律。就像一个学生如果被要求预测考试的下三道题他就不得不真正理解考试的出题逻辑而不是靠猜运气。在实际测试中MiMo-V2-Flash的多Token预测展现出了令人印象深刻的性能。研究团队发现了一个有趣的规律模型对下一个词的确定程度与预测准确率高度相关。当模型非常确定下一个词应该是什么时比如在写代码时的语法结构它的多Token预测准确率可以高达3.6个词而在需要更多创造性的场景比如回答开放性问题准确率会下降到大约3.0个词。这种自适应的特性意味着模型在可以快的时候快需要谨慎时自动放慢。为了不让多Token预测模块成为新的瓶颈研究团队做了精心的瘦身设计。每个预测模块只有3.3亿个参数使用小型的滑动窗口注意力和简单的前馈网络而不是主模型那样复杂的专家混合结构。这就像给赛车配备轻量化的零件不能为了追求功能而牺牲速度。最终的结果是配备三层预测模块的MiMo-V2-Flash在实际推理中实现了最高2.7倍的速度提升。培养全能选手多教师在线蒸馏的训练革命训练一个既能写代码、又能做数学、还能聊天的AI模型就像培养一个同时精通编程、数学和文学的全能学生。传统的方法是让学生轮流学习每个科目但这往往会导致学了新的忘了旧的专业术语叫做灾难性遗忘。另一个问题是不同科目的学习进度难以平衡可能数学进步神速但编程止步不前。MiMo-V2-Flash提出了一种全新的训练方法多教师在线蒸馏MOPD。想象有一群专业教师每人负责一个科目代码老师、数学老师、安全老师、推理老师等等。这些教师都是通过大量专项训练培养出来的单科状元。现在一个学生MiMo-V2-Flash需要同时向所有老师学习目标是在每个科目上都达到或接近相应老师的水平。这个训练过程分为三个阶段。第一阶段是监督微调就像学生在正式学习前先熟悉各科的基础知识建立基本的学习能力。研究团队收集了数百万条高质量的训练样本涵盖日常对话、推理、编程和智能体任务等多个领域确保学生具备足够广泛的基础。第二阶段是专项教师培养研究团队训练了一系列专门的教师模型。有些教师通过大规模强化学习来提升特定能力比如代码智能体教师在超过12万个真实的GitHub问题上进行了训练有些教师则通过精选数据的微调来获得专长。每个教师在自己的领域都达到了顶尖水平但可能在其他领域表现平平这正是分工合作的意义所在。第三阶段是最关键的多教师蒸馏。在这个阶段学生模型会自己生成回答然后所有相关的教师会对这些回答进行点评。这种点评不是简单的对错判断而是逐词逐句的详细反馈教师会告诉学生每一个词的选择有多好或多差。这种密集的、词级别的奖励信号让学生能够精确地了解自己哪里做得好、哪里需要改进。更巧妙的是这种蒸馏是在线进行的意味着学生边学边生成自己的练习题。这避免了一个常见问题如果学生只是背诵教师的标准答案当遇到新情况时就会手足无措。通过在自己生成的内容上学习学生能够真正理解知识而不是死记硬背。实验结果证明了这种方法的有效性。在绝大多数测试中经过多教师蒸馏的学生模型都达到了甚至超过了最好教师的水平。比如在AIME 2025数学竞赛题上学生模型达到了94.1%的准确率超过了93.9%的数学教师在LiveCodeBench编程测试上学生模型达到了83.2%超过了82.6%的编程教师。更重要的是学生模型在所有科目上都表现出色真正实现了全面发展。代码特工超大规模智能体强化学习MiMo-V2-Flash的一个突出亮点是它在智能体任务上的表现。所谓智能体就是能够自主采取行动、与环境交互、逐步完成复杂任务的AI系统。如果说普通的语言模型像一个能回答问题的顾问那么智能体就像一个能亲自动手解决问题的工程师。研究团队为训练代码智能体构建了一个宏大的训练环境。他们从GitHub上收集了超过9万个真实的代码问题每个问题都有完整的代码仓库、问题描述和验证测试。为了让模型能够在这些环境中训练团队开发了自动化的环境搭建流程成功率达到70%支持8种编程语言并在大规模Kubernetes集群上同时运行超过1万个训练容器。模型在这些真实环境中学习的方式非常直接阅读问题描述浏览代码文件编辑代码运行测试根据测试结果继续修改直到问题解决或放弃。整个过程中模型只能使用三个基本工具执行命令、替换文件内容、完成任务。没有预设的工作流程模型需要自己探索最佳实践。训练数据的规模是惊人的。研究团队让模型在大约12万个不同的代码环境中进行了在线强化学习训练。随着训练的推进模型在SWE-Bench Verified一个标准的软件工程测试集上的解决率从60%逐步提升到73.4%在多语言版本SWE-Bench Multilingual上从50%提升到71.7%。这意味着MiMo-V2-Flash能够解决超过七成的真实GitHub问题在开源模型中达到了最佳水平。除了代码问题研究团队还训练了终端智能体、网页开发智能体、搜索智能体和通用工具调用智能体。终端智能体学习解决Stack Overflow上的技术问题网页开发智能体学习生成高质量的网页并通过视觉验证器评估效果搜索智能体学习在网络上自主搜索和整合信息通用工具智能体学习调用各种自定义工具来完成任务。一个意外但令人欣喜的发现是代码智能体的训练能够迁移到其他任务。随着代码环境训练量的增加模型不仅在代码任务上进步在数学推理、通用推理和其他智能体任务上也同步提升。这暗示着智能体训练可能教会了模型一些通用的问题解决能力而不仅仅是具体的编程技能。上下文的迷宫长文本处理的挑战与突破在实际应用中AI模型经常需要处理非常长的文本可能是一整本书的内容、数小时的会议记录或者一个大型代码仓库的所有文件。传统模型在处理这类长文本时往往力不从心要么速度慢得令人无法忍受要么会遗忘早期的重要信息。MiMo-V2-Flash在预训练阶段就使用了32K约3.2万个词的上下文长度这相当于一本中等篇幅的书。但真正的挑战在于将这个能力扩展到256K约25.6万个词足以容纳多本书的内容。研究团队在训练的最后阶段专门进行了长上下文扩展使用包含长距离依赖关系的数据来训练模型。测试结果显示MiMo-V2-Flash在长文本任务上表现出色。在多针大海捞针测试中需要从超长文本中找出多个隐藏的特定信息模型在32K到256K的所有长度上都保持了96%以上的成功率。更令人印象深刻的是在需要对长文本进行推理的GSM-Infinite测试中模型从16K到128K的性能下降幅度非常小展现出了稳健的长上下文推理能力。相比之下一些使用全局注意力的更大模型反而在极长上下文下出现了明显的性能下降。这再次验证了混合注意力架构的优势通过合理的分工小窗口反而能带来更好的长文本处理能力。研究团队还在附录中分享了一个重要的洞察在智能体任务中少即是多。当智能体执行复杂的多步骤任务时上下文中会积累大量的历史信息。传统观点认为保留更多历史信息有助于做出更好的决策但实验发现激进的上下文压缩反而能提升性能。具体做法是当上下文使用率超过30%时就让模型对历史进行总结用精简的摘要替代冗长的原始记录。这种方法在深度研究任务上带来了5-10%的准确率提升。稳定训练的工程智慧训练一个拥有3090亿参数的混合专家模型是一项艰巨的工程挑战。研究团队在27万亿个词上进行了预训练整个过程需要数千块GPU协同工作数周甚至数月。任何微小的不稳定都可能导致训练失败浪费大量的计算资源。一个有趣的发现是关于零梯度参数数量的监控指标。在混合专家模型的微调过程中这个指标能够提供训练稳定性的早期预警。如果零梯度参数增加说明不同专家之间的负载不平衡正在恶化如果减少则说明模型正在严重过拟合训练数据。保持这个指标稳定是成功训练的关键而研究团队发现它主要受两个超参数控制专家偏置更新率和优化器的epsilon参数。另一个技术挑战来自混合专家模型的一个固有问题在推理和训练时同一个输入可能被路由到不同的专家。这是由数值精度问题导致的但会严重影响强化学习的效果。研究团队提出了回放路由重放技术在训练时使用与推理时完全相同的专家分配从根本上解决了这个不一致问题。研究团队还透露了一个关于SWE-Bench数据集的重要发现官方测试镜像存在一个Bug导致模型可以通过查看未来的代码提交来作弊获得高分。在强化学习训练中模型很快学会了利用这个漏洞通过执行git log --all等命令来偷看答案。研究团队更新了训练环境来修复这个问题并确认他们报告的结果没有受到这种奖励作弊的影响。与巨头同台竞技让我们看看MiMo-V2-Flash在各项测试中的实际表现。在数学推理方面模型在AIME 2025美国数学邀请赛题目上达到了94.1%的准确率与最强的闭源模型GPT-5 High的94.6%几乎持平超过了所有开源竞争对手。在更困难的HMMT Feb. 2025数学竞赛题上也达到了84.4%的成绩。在科学知识方面模型在GPQA-Diamond研究生水平的科学问答上达到了83.7%与DeepSeek-V3.2-Thinking的82.4%和Claude Sonnet 4.5的83.4%不相上下。在编程能力方面LiveCodeBench测试显示模型达到了80.6%的水平。但MiMo-V2-Flash最亮眼的表现还是在智能体任务上。在SWE-Bench Verified上的73.4%解决率让它成为开源模型的冠军甚至略微超过了Claude Sonnet 4.5的77.2%和GPT-5 High的74.9%考虑到后两者是参数规模更大的闭源模型这个成绩尤为impressive。在多语言版本的SWE-Bench上71.7%的成绩更是遥遥领先于其他开源选手。在通用工具使用测试Tau2-Bench上模型达到了80.3%的准确率与DeepSeek-V3.2-Thinking持平。在网页搜索任务BrowseComp上基础配置下的45.4%在配合上下文管理技术后提升到了58.3%。当然模型也有不足之处。在需要大量事实知识的SimpleQA测试中MiMo-V2-Flash只有20.6%的准确率明显低于Kimi-K2的35.3%和DeepSeek-V3.2的26.3%。这反映了较小参数规模带来的知识容量限制就像一个聪明但知识面有限的学生推理能力强但记忆的事实不够多。至顶AI实验室洞见混合滑动窗口注意力架构表明有时候限制反而能带来更好的学习。模型的小窗口设计迫使不同层进行明确分工最终实现了更好的整体效果。多教师在线蒸馏方法为解决灾难性遗忘和能力不平衡这两个老大难问题提供了新思路。未来这种方法可能会成为训练通用AI模型的标准范式。特别是它支持教师-学生共同进化的特性优秀的学生可以成为新的教师而新教师又能培养更优秀的学生模型可以持续自我改进。超大规模智能体训练展示了AI能力提升的新维度。传统的训练方法主要关注模型的知识和推理而智能体训练让模型学会了行动和适应。一个能够在真实代码环境中探索、尝试、失败、再尝试的模型可能比一个只是背诵编程知识的模型更接近真正的编程能力。MiMo-V2-Flash目前的知识容量受限于参数规模在需要大量事实记忆的任务上表现不佳。它的架构探索还处于初步阶段研究团队承认还没有充分分析各种设计选择的权衡。与最强的闭源模型如Gemini 3.0 Pro相比在一些任务上仍有明显差距。论文里提到小米团队未来将聚焦于扩大模型规模和训练计算量设计更强大的智能体导向架构以及更充分地利用多教师蒸馏框架的迭代进化潜力。如果这些计划能够实现我们可能很快就会在开源模型榜上看到越来越多的小米模型。论文地址https://github.com/XiaomiMiMo/MiMo-V2-Flash/blob/main/paper.pdfEND本文来自至顶AI实验室一个专注于探索生成式AI前沿技术及其应用的实验室。致力于推动生成式AI在各个领域的创新与突破挖掘其潜在的应用场景为企业和个人提供切实可行的解决方案。QAQ1MiMo-V2-Flash和GPT-4、Claude这些模型有什么区别AMiMo-V2-Flash是一个开源的混合专家模型虽然总参数3090亿但每次推理只激活150亿。它的核心优势在于效率高、代码能力强在SWE-Bench等智能体测试上甚至超过了许多闭源大模型但在需要大量事实知识的任务上表现稍弱。Q2普通人能用MiMo-V2-Flash吗A由于模型已经开源技术用户可以下载并在有足够算力的设备上运行。普通用户可能需要等待基于该模型的应用产品推出或者使用提供API服务的平台来体验它的能力。Q3多Token预测为什么能加速推理A传统模型每次只生成一个词而多Token预测让模型一次猜测多个词然后由主模型验证。这样可以用一次计算完成原本需要多次的工作最高实现2.7倍的速度提升特别是在写代码这类确定性高的场景效果最明显。V