JustVugg/colibri
colibri 是一个面向本地硬件的前沿 MoE 模型分层推理引擎。它将热点专家保留在 CUDA 或 Vulkan 上，温专家放在内存中，冷专家则从 NVMe 直接流式加载。
47.4k · C
整个推理引擎用 C 语言编写，无需一整柜企业级加速器即可管理多级内存。文档与配置信息可以参考 justvugg.github.io/colibri。它其实是给那些想在消费级机器上跑巨型混合专家模型、又不想买昂贵集群硬件的人准备的。
colibri 是一个面向本地硬件的前沿 MoE 模型分层推理引擎。它将热点专家保留在 CUDA 或 Vulkan 上，温专家放在内存中，冷专家则从 NVMe 直接流式加载。
47.4k · C
整个推理引擎用 C 语言编写，无需一整柜企业级加速器即可管理多级内存。文档与配置信息可以参考 justvugg.github.io/colibri。它其实是给那些想在消费级机器上跑巨型混合专家模型、又不想买昂贵集群硬件的人准备的。