Ai
本地模型 llama.cpp
backup
环境
工具
OpenClaw
backup2
多模态
本文档使用 MrDoc 发布
-
+
首页
本地模型 llama.cpp
# 安装llama.cpp cd ~ git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --target llama-server cp llama.cpp/build/bin/llama-server llama.cpp/ # 下载 Q4_K_M huggingface-cli download Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-v2-GGUF \ --include "*Q4_K_M*" \ --local-dir /model/Qwen3.5-27B-v2-GGUF # 启动（OpenAI 兼容接口） ~/llama.cpp/llama-server \ -m /model/Qwen3.5-27B-v2-GGUF/*Q4_K_M*.gguf \ --host 0.0.0.0 \ --port 8000 \ -ngl 99 \ -c 32768 \ --threads 8
admin
2026年4月6日 12:57
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
分享
链接
类型
密码
更新密码