首篇「Attention Sink」综述:从利用、理解到消除,Transformer中的注意力「汇聚」全景解析
几乎所有 Transformer 都在做一件反常的事:把大量注意力集中到少数几个特定 Token 上。这不是 bug,而是 Transformer 固有的「注意力汇聚」(Attention Sink)
阅读全文几乎所有 Transformer 都在做一件反常的事:把大量注意力集中到少数几个特定 Token 上。这不是 bug,而是 Transformer 固有的「注意力汇聚」(Attention Sink)
阅读全文今年,我使用AI的方式发生了一场悄无声息的革命——不再反复打磨提示词,而是着手搭建属于自己的AI工作空间:跨会话留存的记忆的能力、能自主进化的知识库,短短三个月,我甚至想不起来上一次在聊天框里输入问题
阅读全文你构建过的每一个 AI agent(智能体)几乎都有同一个致命缺陷。你花一个小时讲解项目架构、编码偏好、部署约束。AI 任务完成得很漂亮。你关掉标签页。第二天回到同一页,它对你是谁一无所知。这不是小毛
阅读全文作者 | 褚杏娟、蔡芳芳今天,腾讯正式发布了新模型 Hy3 preview,这是姚顺雨加入腾讯后带领团队发布的首个模型。姚顺雨团队没有从千亿规模模型入手。Hy3 preview 是一个快慢思考融合的
阅读全文作者 | Leela Kumili 译者 | 明知山 LinkedIn 推出认知记忆智能体(Cognitive Memory Agent,CMA),作为其生成式 AI 技术栈的组成部分,旨在构建具备状
阅读全文这周,中国大模型的更新让人窒息。前脚阿里最强旗舰 Qwen 3.6 Max刚发布,月之暗面的 Kimi 2.6 就马上登场,DeepSeek V4 也箭在弦上。刚刚,混元的 Hy3 Preview 也
阅读全文GPT Image 2 正式上线后,AI 图像生成领域现在只剩两个段位:GPT Image 2,以及其它。在大模型竞技场中,GPT Image 2 以 241 分的绝对优势遥遥领先,但比起跑分,这份研
阅读全文这张被AI改写的牌桌,谁在慌乱,谁在入局?文|LCC_Beta版作者|李程程编辑|杨林本文首发于钛媒体APP“讲好中国电影故事这座高山,千难万阻,中国电影永垂不朽!”当叶宁在爱奇艺举办的电影主题论坛快
阅读全文一个会记住你、会学技能、还会读懂你习惯的数字员工。作者|硅谷Tech news编辑|焦燕本文首发于钛媒体APP如果你用过 ChatGPT 或任何一款 AI 助手,大概率有过这样的崩溃时刻——你花了半小
阅读全文导 语理想汽车信息智能体团队发布 MindDR 1.5,在 DeepResearch Bench 榜单中取得 52.54 分,以 30B 参数规模达到业界领先水平,性能优于同等规模的开源智能体系统。相
阅读全文新智元报道 编辑:桃子【新智元导读】一轮狂揽4.55亿美金!高瓴红杉罕见联手,美团重磅加注,中国具身智能单轮融资首破纪录。这家仅成立一年的国产黑马,凭「能干活的大脑」强势杀入大脑俱乐部第一梯队。
阅读全文新智元报道 编辑:艾伦【新智元导读】Anthropic 在私募二级市场被追到接近 1 万亿美元,热度反超 OpenAI,背后是稀缺股权、收入增长、Claude Code 的产品势能,以及资本对
阅读全文新智元报道 编辑:LRST【新智元导读】浙江大学团队开源了一个基于多智能体技术的演化叙事系统OpenStory,不仅还原了经典《红楼梦》中的角色和场景,实验结果也揭示了AGI下系统脆弱性,引发对
阅读全文01 从一次“误入”的群聊开始前两天,一个朋友丢给我一个二维码,只说了一句:“进去看个热闹。”我一看,是互联网最热门的两位名人的AI化身,没有多想,就顺手点了进去。不需要任何引导。下一秒,我发现自己被
阅读全文图片来源:Vast Data由 NVIDIA 支持的 Vast Data (一家为人工智能任务开发数据存储软件的公司)表示,已筹集约 10 亿美元,估值超过三倍增至 300 亿美元。这些资金分为一级
阅读全文图片来源:NeoCognition投资者正在积极争取AI 研究人员创办初创公司,以使 AI 更加可靠和高效。俄亥俄州立大学教授、AI Agent 实验室负责人 Yu Su 表示,他最初抵制了风险投资公
阅读全文今天介绍 Claude Code 上线的一个新功能:/ultrareview。一句话概括:它会在云端同时派出多个 AI 审查员,帮你在合并代码之前把 Bug 揪出来。这个功能其实在上周 Claude
阅读全文让AI理解人的想法,而不是让人适应AI。 👩作者:稳稳🥷 编辑:Koji🎨 排版:Zeooo过去这半年,图像生成领域的更新节奏实在是太热闹了。 Banan Pro惊艳亮相,很快更具性价比的Banana
阅读全文昨天,GPT-image-2正式上线了。然后,所有的社群、社媒都玩疯了。甚至,GPT-image-2生成的梗图,一度冲上了微博热搜第一。就是这张图,为了防止大家误会,我打了巨大的水印。除了这张图之外,
阅读全文专注AIGC技术的专业社区,关注大语言模型(LLM)的发展和应用落地,聚焦LLM及AI技术的市场研究和开发者生态,欢迎关注!前几天还在灰度测试的ChatGPT Images 2.0它来了:再封神!Op
阅读全文专注AIGC技术的专业社区,关注大语言模型(LLM)的发展和应用落地,聚焦LLM及AI技术的市场研究和开发者生态,欢迎关注!繁杂枯燥的资料搜集与交叉比对,向来是消耗专业人士核心精力的黑洞。谷歌刚刚对自
阅读全文专注AIGC技术的专业社区,关注大语言模型(LLM)的发展和应用落地,聚焦LLM及AI技术的市场研究和开发者生态,欢迎关注!阿里千问又发模型了。Qwen3.6-35B-A3B,Qwen3.6-Plus
阅读全文专注AIGC技术的专业社区,关注大语言模型(LLM)的发展和应用落地,聚焦LLM及AI技术的市场研究和开发者生态,欢迎关注!人工智能的下半场,关键词是“行动”。当大模型不再满足于“对话聊天”,而是开始
阅读全文作者|周一笑邮箱|zhouyixiao@pingwest.com2026 年 3 月 17 日,拓竹科技把 Meshy 6 接进了 MakerWorld 的 MakerLab。一张照片上传上去,两分钟
阅读全文作者|吴瑞琪邮箱|rachelwu@pingwest.com"试验阶段结束了。" Google Cloud CEO Thomas Kurian 在开场不到三分钟就抛出这句话。Google Cloud
阅读全文文章转载于字母AI活得久了难免会遇到点新奇玩意,航空公司SpaceX和AI编程公司Cursor达成了一笔交易。SpaceX获得了在2026年晚些时候,以600亿美元收购该公司的选择权,或者支付100亿
阅读全文系列文章用“Harness Engineer”打造真正属于你的全能AI大管家:解密SemaClaw,你的下一个AI不是聊天软件,而是“一支团队”上交大/CMU等重磅综述万字精读:定义未来5年 AI A
阅读全文前文列表Harness Engineering:AI 时代的工程师职业画像Harness Engineering 的诞生2025 年 8 月,OpenAI 启动了一个实验性的研发项目,这个项目从第一个
阅读全文👔库克现身员工大会:「身体健康」,计划长期担任苹果执行董事长🤖「最前沿 AI 智能体编程模型」GPT-5.5 意外偷跑,OpenAI 紧急下线⚠️奥特曼首谈住宅遇袭:前一晚刚说「至少没人想杀我」🚗特斯
阅读全文阿里发布了 Qwen3.6-27B。27B 参数,Dense 架构,不是 MoE!原生支持 262K 上下文,Apache-2.0 开源。官方给的数据很夸张:SWE-bench Verified 77
阅读全文