跳到主要内容
检索

# 推理优化

3 篇关联报道

订阅更新
  1. arXiv

    Together Compiler 把推理编译变成持续循环:前沿模型上吞吐最高提升 2.6 倍,24 小时内完成

    Together AI 推出 Together Compiler(TKCC),把 AI 推理引擎的优化从一次性编译改成由智能体持续迭代的循环。此前智能体要么在离线基准上优化单个内核、测量保真度低,要么每次测量都重启整个引擎、迭代极慢。TKCC 用分层常驻引擎把引擎启动与单次前向计算解耦,并配合并行配置代价模型,在 Llama 1B 上超过手写 Megakernel,在 Kimi K3、GLM 5.3、MiniMax M3.1 Flash、DeepSeek v4.1 Flash 上于 InferenceX 基准超过最佳开源引擎,每个模型 24 小时内、最多 2 个节点完成。

  2. arXiv

    不用GPU也能预演大模型服务:BLIS在CPU上跑完整流水线,4卡就守住300毫秒首字延迟

    BLIS是一个纯CPU的确定性离散事件模拟器,把准入、路由、调度、预填充/解码执行、KV缓存管理和抢占整条大模型推理服务流水线一起模拟,在36组实验上端到端延迟中位误差6.7%,比真实执行快约200倍。

  3. NVIDIA Blog

    OpenAI 在 NVIDIA Blackwell 上推出 GPT-6 Astra Ultrafast,token 生成最高比 Astra Standard 快 8 倍

    OpenAI 发布 GPT-6 Astra Ultrafast,该模式运行在 NVIDIA Blackwell GPU 上,通过利用 NVIDIA Blackwell 架构能力的推理优化,实现最高比 Astra Standard 模式快 8 倍的 token 生成,并已通过 OpenAI API 及面向符合条件的 ChatGPT Work 和 Codex 用户开放。

已读完全部报道