Lumine: 一个能够在3D开放世界中 实时感知、推理和行动的通用AI智能体

N B C S

https://www.bilibili.com/video/BV14ukkBvEit
[2511.08892] Lumine: An Open Recipe for Building Generalist Agents in 3D Open Worlds

N B C S

https://www.bilibili.com/video/BV14ukkBvEit?comment_on=1&comment_root_id=282417357504&share_tag=s_i#reply282417357504
要在实时 3D 开放世界中运行 Lumine，需要：
+ 高端 GPU 集群（至少4× H20/H100），支持量化和并行。
+ 低延迟优化（KV-cache、StreamingLLM、Speculative decoding）。
+ 双机架构（本地游戏 + 远程推理）。
+ 严格的延迟控制（200ms 总链路，33ms 动作块）。

推理硬件要求（Inference Hardware）
- 模型规模：7B 参数（基于 Qwen2-VL-7B）。
- GPU：部署时使用 4× NVIDIA H20 GPU，采用 Tensor Parallelism (TP=4)，每个 GPU 负责一个 KV head。需要支持 W8A8 量化（8-bit 权重和激活），以降低显存和计算带宽。
- 显存与计算：由于采用量化和并行优化，单卡显存压力显著降低，但仍需高端 GPU（H100/H20 级别）。

系统架构：双机架构：
- 本地 Windows 主机：运行游戏客户端，负责截图和动作执行。
- 远程推理服务器：运行 Lumine 模型，接收截图并返回动作。




模型规模：Lumine 基于 Qwen2-VL-7B-Base，参数量约 70亿（7B）。存储占用：论文没有明确给出硬盘占用大小，但根据常见 7B 模型的经验：FP16 精度：约 28GB。INT8 量化：约 7–10GB。INT4 量化：可压缩到 4–5GB。加上视觉编码器（ViT）和推理优化组件，整体可能在 10–15GB 左右（量化后）。家用显卡情况：- 如果是 RTX 4090（24GB显存） 或同级别显卡，理论上可以运行 单卡推理，但可能无法满足论文要求的 实时交互（200ms内完成）。- 中端显卡（RTX 3060/3070，8–12GB显存）：可以加载量化后的模型（INT4/INT8），但推理速度会明显不足，可能只能用于 离线推理或低频交互。- 低端显卡（<8GB显存）：基本无法运行完整模型，除非进一步裁剪或蒸馏。