跳到主要内容
检索

# Inkling 2 Mini 模型

1 篇关联报道

订阅更新
  1. vLLM Blog

    Thinking Machines 发布循环模型 Inkling 2 Mini:中间 12 层跑三遍,vLLM 首日即支持

    Thinking Machines 发布多模态混合专家模型 Inkling 2 Mini,其第 6 至 17 层以共享权重运行三遍,每遍保留独立 KV 缓存并从前一遍读取门控消息。vLLM 在发布当天于 NVIDIA Blackwell、Hopper 和 DGX Spark 上提供支持,把每一遍的缓存当作普通缓存层管理,并复用 Inkling 2 Small 的融合算子。同一发布还包括可变循环研究检查点 TML-d24-varloop-research,其遍数与是否共享 KV 缓存可在启动时设定。

已读完全部报道