ABSTRACT对于混合专家(MoE)模型,不平衡的专家负载将导致路由崩溃或增加计算开销。现有方法通常采用辅助损失来促进负载平衡,但较大的辅助损耗会在训练中引入不可忽略的干扰梯度,从而影响模型的性能。
阅读全文2月19日消息,钛媒体AGI独家获悉,中国AI大模型独角兽MiniMax(稀宇科技)合伙人、公司副总裁、开放平台负责人魏伟,已经于近期离职。对上述消息,MiniMax向钛媒体AGI独家回应:消息属实,
阅读全文Transformer架构的非递归设计阻碍了跨层的记忆共享,或限制模型泛化能力。作者丨王悦编辑丨陈彩娴在 DeepSeek 能够破圈而出的一众原因中,完全摒弃传统的监督微调(SFT)、转而采用大规模强
阅读全文DeepSeek 革命性 NSA 注意力机制问世。作者丨郑佳美编辑丨马晓宁2 月 18 日,马斯克发布 Grok 3 的热度还没过去,梁文锋就作为 co-authors 带着 DeepSeek 研究团
阅读全文作者 | 褚杏娟 2 月 18 日,DeepSeek 发布了一篇新论文,提出了一种新的注意力机制——NSA。值得注意的是,创始人梁文锋参与编写并亲自上传了该论文。根据论文介绍,DeepSeek 团队
阅读全文作者 | 冬梅 2025 年 2 月 18 日,阶跃星辰和吉利汽车集团联合宣布,将双方合作的阶跃两款 Step 系列多模态大模型向全球开发者开源。其中,包含 目前全球范围内参数量最大、性能最好的开源视
阅读全文DeepSeek-R1 的热度还是居高不下,各个云计算厂商都在争着发布「免费的 DeepSeek-R1」,大家不断地在各个平台间转换。但就在这纷乱中,GpuGeek 凭借其“开箱即用”“高效便捷”“海
阅读全文本文宣传一下我们被 ICLR 2025 录用的文章—MambaQuant。论文标题:MambaQuant: Quantizing the Mamba Family with Variance Alig
阅读全文©来源 | 机器之心本文是复旦大学知识工场实验室肖仰华教授、梁家卿青年副研究员科研团队的最新研究成果,他们用简洁的代码高效复现了 R1-zero 的自发反思能力。在关于 DeepSeek 的文章中,我
阅读全文合适的工作难找?最新的招聘信息也不知道?AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职!阿里巴巴阿里通义实验室致力于AGI、大模型基础研究和行业应用探索,在视觉、语音
阅读全文讲真的,这篇文章啥也不是,屁都没有。但就是 AI 看完之后,就开始可劲吹了。<think> 嗯?这是一篇微信爆款文章...阅读量...10W+?!!!!这段文本... 仔细读来,字里行间透露着一种老练
阅读全文DeepSeek V3/ R1火爆全网,基于原始模型的解决方案和API服务已随处可见,陷入低价和免费内卷。如何站在巨人肩膀上,通过后训练(post-training)结合专业领域数据,低成本打造高质量
阅读全文机器之心发布机器之心编辑部DeepSeek V3/ R1 火爆全网,基于原始模型的解决方案和 API 服务已随处可见,陷入低价和免费内卷。如何站在巨人肩膀上,通过后训练(post-training)结
阅读全文机器之心报道编辑:杜伟、陈陈昨天,AI 圈可以说非常热闹。中午,马斯克 xAI 发布了地表最强旗舰大模型 Grok-3;下午,DeepSeek 梁文锋亲自挂名的论文公开了全新注意力架构 NSA。这下子
阅读全文AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,
阅读全文AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,
阅读全文这是一个与「朱啸虎们」相反的 AGI 叙事。访谈丨陈彩娴 马晓宁作者丨马晓宁编辑丨陈彩娴DeepSeek 以迅雷不及掩耳之势出圈后,中国大部分的大模型团队都被打得措手不及,只有一家公司因为底层技术和
阅读全文20 万张 GPU 颠覆 AI 格局。作者丨郑佳美编辑丨马晓宁2 月 16 号,马斯克在 X 上发布了一条自家 Grok 3 模型的发布预告。并配文“地球上最聪明的 AI”要来了。北京时间 2025
阅读全文AI Infra 的市场好感度正在上升。作者丨高允毅编辑丨马晓宁AI 科技评论独家获悉,由前字节 AI Lab 高管郭传雄创办的比特智路近日完成了最新一轮融资,融资额达到 5 亿人民币。比特智路成立于
阅读全文CLIP后门样本检测领域取得重要突破——5分钟内清洗百万数据,发现自然后门样本并揭示OpenCLIP预训练模型中的后门风险。随着多模态模型的快速发展,其安全问题日益受到关注,尤其是潜在的后门投毒风险。
阅读全文百万真机数据集的终极目标是打造硬件加系统的 AI 次方模式,构建真正智能的端到端具身系统。作者丨朱可轩编辑丨陈彩娴去年年底,全球首个基于全域真实场景、全能硬件平台、全程质量把控的百万真机数据集开源项目
阅读全文天才集结号!300万年薪!呼唤 AI 领域的你!话说天下AI大势,天才辈出,智星云集。人工智能如繁星,照亮智慧的苍穹。人才如春风,吹动创新的号角。三百万,若是求贤,好比茅庐三顾,好比千金市骨,好比城门
阅读全文