FareedKhan-dev/kimi-k3-in-c
kimi-k3-in-c 实现了在单台 CPU 上运行庞大模型的推理能力。适合需要摆脱 GPU 和外部框架、直接在极低资源下跑模型的人。
10.1k · C
整个推理引擎采用纯 C99 编写，在单台 CPU 上只需 8.24 GB 的内存就能跑起来，完全不需要 BLAS 或任何庞大框架。如果你手头的生产环境本来就已经拉起了高配 GPU 集群，那这个极简的单机 CPU 推理方案就派不上用场了，因为你的硬件瓶颈根本不在资源受限的边缘环境里。
kimi-k3-in-c 实现了在单台 CPU 上运行庞大模型的推理能力。适合需要摆脱 GPU 和外部框架、直接在极低资源下跑模型的人。
10.1k · C
整个推理引擎采用纯 C99 编写，在单台 CPU 上只需 8.24 GB 的内存就能跑起来，完全不需要 BLAS 或任何庞大框架。如果你手头的生产环境本来就已经拉起了高配 GPU 集群，那这个极简的单机 CPU 推理方案就派不上用场了，因为你的硬件瓶颈根本不在资源受限的边缘环境里。