聊聊大模型推理系统之 APT-Serve：提升有效吞吐量 8.8 倍背后的混合缓存机制和自适应请求调度算法
全文约 2100 字，预计阅读时间 6 分钟在大语言模型（LLM）推理服务需求激增的背景下，如何高效处理海量请求、保障服务质量成为行业焦点。就在上个月，来自港科大与上海交大的研究团队提出了全新框架——
阅读全文速报：扣子空间开放测试，无需邀请码｜阿里开源大模型搜索引擎｜腾讯开源 HunyuanCustom
作者：yanbo新闻资讯1. 扣子空间开放测试，无需邀请码即可体验专家 Agent 服务近日，扣子空间正式宣布开放测试，无需邀请码即可登录官网体验产品。此次测试开放了三大专家 Agent，包括：用户研
阅读全文聊聊大模型推理系统之 MuxServe：多LLM并发服务如何实现1.8倍吞吐量提升？
全文约 2000 字，预计阅读时间 6 分钟在大语言模型（LLM）席卷AI行业的今天，如何高效地为多个LLM提供服务成为了一个亟待解决的问题。一篇题为《MuxServe: Flexible Spati
阅读全文LTX新开源13B模型生成提速30倍，5090跑出好莱坞特效
本文转载自量子位，作者：量子位梦晨 鹭羽最新开源模型LTXV-13B，免费可商用、推理速度快、游戏显卡就能跑，视觉效果也不错。要素都齐了，想不火都难。从官方透露的信息看，新模型在速度、质量和控制三个方
阅读全文