从 SFT 到继续预训练:大模型领域知识注入的原理与实战
> 作者:李剑锋前言课程回顾在前面的课程中,我们已经系统讲解了 SFT 微调 的完整过程,包括不同的微调方法,如全量微调、LoRA 微调和 QLoRA 微调,以及配套的数据生成思路。通过这部分内容,我
阅读全文> 作者:李剑锋前言课程回顾在前面的课程中,我们已经系统讲解了 SFT 微调 的完整过程,包括不同的微调方法,如全量微调、LoRA 微调和 QLoRA 微调,以及配套的数据生成思路。通过这部分内容,我
阅读全文invokeBatchApplyPenaltytemplate void invokeBatchApplyPenalty(InvokeBatchApplyPenaltyParams<float> c
阅读全文OpenAI 招人了OpenAI 在新加坡开了一个岗位:Developer Experience Engineer翻译成中文,就是:招开发者运营,必须得会中文岗位挂在 Go To Market 部门,
阅读全文不改模型架构和推理方式,只在预训练前半程调整 token 表示和预测目标,就让 10B-A1B MoE 跑出同等 loss 下最高 2.5 倍提速。标准 LLM 预训练里,每个训练 step 通常只处
阅读全文在新一代文生图模型中,语义如何“排列”,往往比语义“是什么”更重要。在过去的文生图安全研究中,主流方法大多围绕三个方向展开:通过微调模型参数(fine-tuning)、干预注意力分布(attentio
阅读全文文章概述:近日,浙江大学机械工程学院李樵风课题组联合西安光机所在Advanced Intelligent Systems上发表了题为NIRGB-GS: Near-Infrared Assisted L
阅读全文AI 圈现在招人,连岗位名字都透着点不寻常。最近,Claude 母公司 Anthropic 挂出了一个让人一头雾水的职位:应用 AI Claude 布道师(Applied AI Claude Evan
阅读全文1968 年的旧金山,计算机科学家道格拉斯·恩格尔巴特在一场后来被称为「演示之母(The Mother of All Demos)」的发布会上,拿出一个带着两个金属轮子的木制小盒子,向世界介绍了一个新
阅读全文两个月前在圣何塞,黄仁勋穿着皮衣站在 GTC 的舞台上,告诉全世界:Token 是新的大宗商品,生成 Token 的成本与效率,决定科技企业的营收与生死。昨天,李彦宏站在 Create 2026 的开
阅读全文整理 | 华卫近日,Meta 员工周二在美国多个办公室分发了传单,抗议公司最近在他们电脑上安装鼠标追踪软件。路透社看到的传单照片显示了这一情况。这些传单出现在会议室、自动售货机上方以及这家 Faceb
阅读全文编译 | TinaPinecone 刚刚几乎等于亲口宣布:RAG 时代结束了。作为向量数据库赛道的开创者,Pinecone 当年亲手把 RAG 定义成了大语言模型 grounding 的标准范式。过去
阅读全文新智元报道 编辑:Aeneas【新智元导读】就在刚刚,Claude把ChatGPT拉下马,Anthropic企业市占率首次登顶!Ramp数据显示,前者的34.4%首次反超OpenAI的32.3%
阅读全文新智元报道 编辑:好困【新智元导读】8个缔造AI辉煌的超级大脑,带着谷歌英伟达巨资狂暴入场。他们要让AI自己训练自己,然后把AI研究员这个职业彻底干掉。没有产品。25个人。成立不到半年。估值46
阅读全文新智元报道 编辑:元宇【新智元导读】Claude深陷「角色混淆」Bug,分不清自己的话与用户指令,长上下文成了降智「重灾区」。一个程序员原本只是让Claude帮他校对一篇博客。Claude一开始
阅读全文作者|Yoky邮箱|yokyliu@pingwest.com2026年,Agent成为了一个全新的物种。当这件事已经确定发生,那围绕着人所形成的系统、标准,在Agent面前都通通失效了。于是我们开始寻
阅读全文5月13日,中美两地的新AI Lab创业再次热闹起来,同日有两条大额融资新闻传出。一边是国内的,前阿里通义千问技术负责人林俊旸,被曝其新成立的AI实验室正在以约20亿美元(约合人民币136亿元)的估值
阅读全文文章转载于字母AI4月以来,视频模型重新成为AI行业里最拥挤的赛道之一。先是月初,阿里的HappyHorse-1.0登顶Artificial Analysis视频竞技场榜单,在无音频文生视频榜单中拿到
阅读全文微信正站在一个微妙的十字路口。文|散落拾获作者 | 贾雨微本文首发于钛媒体APP微信月活14.32亿,增速却只剩2%。5月13日,腾讯发布2026年Q1财报,微信及WeChat合并MAU达到14.32
阅读全文今天一早,我去了北京国家会议中心,参加百度Create 2026 AI开发者大会-超级个体主论坛。主要是受百度秒哒邀请,作为分享嘉宾之一上去聊了一下,分享了一点自己对AI时代一些创作和vibe cod
阅读全文听雨 发自 凹非寺量子位 | 公众号 QbitAI加入Meta近一年——也被争议了快一年,亚历山大王(Alexander Wang)首次出来公开回应一切!去年6月,Meta用140亿美元把亚历山大王从
阅读全文金磊 发自 凹非寺量子位 | 公众号 QbitAI没有大厂高管站台,一屋子却挤满了开源圈的熟面孔。随便往台下扫一眼,就能对上好几个GitHub上的明星ID:有目前大模型推理框架顶流SGLang的核心开
阅读全文组委会 发自 凹非寺公众号|量子位 QbitAI还有一周,中国AIGC产业峰会就要来了!5月20日,我们聚齐了20位来自AI一线的实战派:从底层架构到爆款应用,从软件到硬件,从创作到投资...我们希望
阅读全文HR 发自 凹非寺量子位 | 公众号 QbitAI姐妹们!我们在找一位AI内容运营搭子。要求长在小红书,把AI新进展追踪和AI新工具使用作为OKR。我们是谁?量子位。一个AI新媒体,把追踪最新AI进展
阅读全文机器之心发布2026 年,“世界模型” 正在成为具身智能行业的高频词。越来越多公司开始将自己的技术路线表述为机器人世界模型,试图用可学习的环境模型提升机器人训练效率。灵初智能(PsiBot)也常被放入
阅读全文机器之心发布在迈向通用人工智能(AGI)的过程中,世界模型被视为让机器理解物理规律、实现空间智能的关键。而高效、鲁棒和精准的三维感知能力,被广泛认为是世界模型的首要前提。通常来说,一个成熟的世界模型需
阅读全文I²B-LPO 是一个面向 RLVR 后训练的探索增强框架,通过改进 rollout 策略引导模型生成更多样化的推理轨迹,将探索行为从 “重复采样” 推进到 “在关键节点生成更具区分度的推理轨迹”,在
阅读全文