本次观察覆盖 2026 年 11 月 7 日 07:55 至 11 月 8 日 07:55（Australia/Sydney）前后新出现并可核验的技术事实，实际收录 1 项。
Xinference 4.2.0 发布，扩展跨引擎缓存与滚动模型重载
Xinference 项目于 2026 年 11 月 7 日发布 4.2.0 正式版本；GitHub 记录显示版本在 13:07 UTC 发布，PyPI 同日提供 4.2.0 的源码包和通用 Python wheel。相对于 10 月 25 日发布的 4.1.0，4.2.0 把 Xavier 的前缀缓存共享扩展到 vLLM、SGLang、TensorRT-LLM 和 MLX 副本，并增加 Mooncake Store 作为 LMCache 存储后端。项目说明称，代理等待工具返回时可以提高相关 KV 前缀的保留优先级，恢复执行时减少重复 prefill；这一效果属于开发者给出的机制说明，目前没有本次发布对应的公开第三方吞吐量或成本复现。
部署生命周期也发生了可核验变化。管理员可从 Web UI 检查并安装 Xinference 更新；受支持的 vLLM 和 SGLang 部署可以保留 GPU 权重，按副本滚动重载模型，同时让旧引擎实例完成正在进行的请求。该能力受运行时和配置限制，并非所有引擎、模型或拓扑都适用。项目文档进一步说明，v4.2.0 起四类引擎可以在预填充侧使用 LMCache 历史前缀，但跨机部署仍要求可达地址、匹配的运行时依赖和固定的预填充/解码拓扑；部分混合或递归注意力模型不支持历史缓存。
4.2.0 还在兼容 API 和 Web UI 中加入受支持模型的原生 reasoning effort 控制，在兼容运行时提供 thinking budget，并为各 LLM 引擎统一请求 priority 参数。模型支持方面，版本通过 vLLM 加入并发 Qwen3-ASR 实时语音识别与 Qwen3-TTS CustomVoice 流式合成，同时增加 DeepSeek-V4.1-Flash-1017 的 llama.cpp 支持及多种 OCR 模型适配。上述接口和支持范围可由发布记录与文档核对；具体准确率、并发性能和缓存节省幅度尚无本次版本的独立公开验证。PyPI 页面确认 4.2.0 要求 Python 3.10 或更高版本，采用 Apache-2.0 许可，但发行文件未附带 provenance 元数据。
来源
Xorbits，Xinference v4.2.0 release，2026 年 11 月 7 日，https://github.com/xorbitsai/inference/releases/tag/v4.2.0
Python Package Index，xinference 4.2.0，2026 年 11 月 7 日，https://pypi.org/project/xinference/4.2.0/
Xinference Documentation，PD separation，2026 年 11 月 8 日访问，https://inference.readthedocs.io/en/latest/user_guide/pd_separation.html
了解 Geoffrey Chen 的更多信息
订阅后即可通过电子邮件收到最新文章。