llama.cpp

本地跑模型的底层引擎

完全免费 海外产品 🧩 模型与开发平台

产品介绍

llama.cpp 用 C/C++ 实现高效推理,量化后能在普通 CPU 与消费级显卡上跑大模型,是大量本地工具的基础。

支持 GGUF 格式与多平台。

主要功能

  • CPU/GPU 高效推理
  • 量化压缩
  • GGUF 生态
  • 跨平台
  • 开源免费

是否收费

完全免费 开源免费

同类产品

模型与开发平台 分类下的其他选择

查看全部 →