架构师_程序员_码农网

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

搜索
查看: 930|回复: 1

【AI】(七)使用 llama.cpp 本地部署 DeepSeek-R1 模型

[复制链接]
发表于 2025-2-7 13:58:06 | 显示全部楼层 |阅读模式
llama.cpp 介绍

使用纯 C/C++推理 Meta 的LLaMA模型(及其他模型)。主要目标llama.cpp是在各种硬件(本地和云端)上以最少的设置和最先进的性能实现 LLM 推理。

  • 纯 C/C++ 实现,无任何依赖项
  • Apple 芯片是一流的——通过 ARM NEON、Accelerate 和 Metal 框架进行了优化
  • AVX、AVX2、AVX512 和 AMX 支持 x86 架构
  • 1.5 位、2 位、3 位、4 位、5 位、6 位和 8 位整数量化,可加快推理速度并减少内存使用
  • 用于在 NVIDIA GPU 上运行 LLM 的自定义 CUDA 内核(通过 HIP 支持 AMD GPU,通过 MUSA 支持 Moore Threads MTT GPU)
  • Vulkan 和 SYCL 后端支持
  • CPU+GPU 混合推理,部分加速大于 VRAM 总容量的模型


Github 地址:https://github.com/ggerganov/llama.cpp
下载地址:https://github.com/ggerganov/llama.cpp/releases

下载 llama.cpp

首先,根据自己电脑硬件配置下载相应版本的 llama.cpp 软件,如下图:

QQ截图20250207134818.jpg

AVX 支持 256 位宽的操作。
AVX2 也支持 256 位宽的操作,但增加了对整数操作的支持以及一些额外的指令。
AVX-512 支持 512 位宽的操作,提供了更高的并行度和性能,特别是在处理大量数据或浮点运算时。

我电脑是纯 CPU 运行,并且支持 avx512 指令集,所以下载“”版本,下载地址:https://github.com/ggerganov/llama.cpp/releases/download/b4658/llama-b4658-bin-win-avx512-x64.zip,下载完成后,解压到 D:\llama-b4658-bin-win-avx512-x64 目录。

下载 DeepSeek-R1 模型

下载地址:https://hf-mirror.com/lmstudio-community/DeepSeek-R1-Distill-Qwen-1.5B-GGUF/tree/main,本文以“DeepSeek-R1-Distill-Qwen-1.5B-Q3_K_L.gguf”为例。

根据自己配置下载即可。量化级别越高,文件越大,模型精度越高。

llama.cpp 部署 DeepSeek-R1 模型

在 DeepSeek-R1-Distill-Qwen-1.5B-Q3_K_L.gguf 文件目录下面执行如下命令:

如下图:

QQ截图20250207135401.jpg

使用浏览器打开 http://127.0.0.1:8080/ 地址进行测试,如下图:

QQ截图20250207135617.jpg

附上运行参数配置:https://github.com/ggerganov/llama.cpp/tree/master/examples/server




上一篇:前端从 .js 文件生成 .d.ts 文件
下一篇:【转】如何解决 Ollama 模型拉取问题
码农网,只发表在实践过程中,遇到的技术难题,不误导他人。
 楼主| 发表于 2025-3-5 10:48:53 | 显示全部楼层
AI模型社区

Hugging Face 官网:https://huggingface.co/
Hugging Face 国内镜像:https://hf-mirror.com/
魔搭 modelscope:https://www.modelscope.cn/
码农网,只发表在实践过程中,遇到的技术难题,不误导他人。
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则

免责声明:
码农网所发布的一切软件、编程资料或者文章仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。如有侵权请邮件与我们联系处理。

Mail To:help@itsvse.com

QQ|手机版|小黑屋|架构师 ( 鲁ICP备14021824号-2 )|网站地图

GMT+8, 2025-4-20 08:22

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表