DeepSeek 集群服务器无root本地部署指南

在 GPU 服务器上从零搭建你的私有 AI 助手 · 支持 NVIDIA / AMD / Intel

随着 DeepSeek 系列模型的开源，越来越多开发者希望在自己的服务器上部署私有推理服务。本文以 

 实际部署为例，详细记录从环境准备到 API 调用的完整流程，并同时给出 AMD（ROCm）、Intel（SYCL）等显卡的编译选项，让你无论使用何种硬件，都能轻松拥有自己的 DeepSeek API。

：有一定 Linux 基础，拥有普通用户权限（无 root），希望在服务器上部署大语言模型并对外提供 API 服务的开发者。

🔹 软件环境（普通用户权限）

由于大多数集群用户没有 root 权限，我们需要在 

 下自行安装所需工具。以本文环境为例（CentOS 7，GCC 4.8.5 系统默认），我们手动编译了 GCC 9.5.0。

：如果系统 GCC ≥ 8.2，可直接使用；否则参考以下步骤编译 GCC 至用户目录。

# 下载并编译 GCC 9.5.0（示例）cd ~wget https://ftp.gnu.org/gnu/gcc/gcc-9.5.0/gcc-9.5.0.tar.gztar -xzf gcc-9.5.0.tar.gz && cd gcc-9.5.0./contrib/download_prerequisitesmkdir build && cd build../configure --prefix=$HOME/software/gcc-9.5.0/install --enable-languages=c,c++ --disable-multilibmake -j 8 && make install# 添加到 PATHexport PATH=$HOME/software/gcc-9.5.0/install/bin:$PATH

 可用。若系统版本过低，也可自行编译安装。

NVIDIA 用户需加载 CUDA Toolkit（本文使用 CUDA 9.2，驱动支持 10.2）：

module load cuda/9.2   # 或 cuda/10.2export PATH=/usr/local/cuda-9.2/bin:$PATH

），Intel 用户加载 oneAPI 工具包。

2️⃣ 编译 llama.cpp（开启 GPU 加速）

llama.cpp 是目前最流行的 C++ 推理框架，支持 CPU、CUDA、ROCm、SYCL 等多种后端。我们选择较新但稳定的版本（本文以 

 标签为例，避免最新代码的不稳定性）。

：若使用 CUDA 9.2，建议选择较旧标签（如 

）；较新版本可能要求更高 CUDA 版本或编译失败。

cd ~git clone https://github.com/ggerganov/llama.cpp.git llama-oldcd llama-oldgit checkout b2000   # 或 b2800, b1500 等

2.2 设置编译器（使用自编译的 GCC）

export CC=$HOME/software/gcc-9.5.0/install/bin/gccexport CXX=$HOME/software/gcc-9.5.0/install/bin/g++

rm -rf buildcmake -B build -DCMAKE_BUILD_TYPE=Release \    -DCMAKE_CXX_FLAGS="-std=gnu++17" \    -DGGML_OPENMP=OFF \    -DGGML_CUDA=ON \    -DCMAKE_CUDA_ARCHITECTURES=37 \    -DCUDAToolkit_ROOT=/usr/local/cuda-9.2 \    -DCMAKE_CUDA_HOST_COMPILER=$CC \    -DLLAMA_AVX512=OFF   # 若 CPU 不支持 AVX512

 需与显卡计算能力匹配（可用 

nvidia-smi --query-gpu=compute_cap --format=csv

 指定 CUDA 使用的 C++ 编译器（必须 ≤ GCC 7 for CUDA 9.2）；• 若编译出错，尝试禁用 AVX512（

cmake --build build --config Release -j 4

DeepSeek 官方提供了 GGUF 格式的量化模型，推荐从 Hugging Face 或国内镜像站下载。这里以 

mkdir -p ~/models && cd ~/models# 使用 hf 工具（或 wget）hf download bartowski/DeepSeek-R1-Distill-Qwen-7B-GGUF \    --include "DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf" \    --local-dir ./

若网络受限，可使用国内镜像（如 

wget https://www.modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/resolve/master/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

：• Q4_K_M：平衡速度与精度（推荐）；• Q2_K：体积更小，速度更快，但质量下降；• Q8_0：质量最高，但显存占用翻倍。

cd ~/llama.cpp/llama-old/build/bin./main -m ~/models/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf -p "你好" --interactive-first -n 512 --temp 0.7

./server -m ~/models/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf \    --host 0.0.0.0 \    --port 8080 \    -ngl 999        # 将全部层加载到 GPU（若显存足够）

 参数正确传递。若服务启动日志显示 “Not compiled with GPU offload support”，说明编译时未启用 GPU，请检查 CMake 选项。• 防火墙需开放相应端口（如 8080）才能外部访问。

 格式的 RESTful API，你的 AI Agent 可直接使用。

curl http://your-server-ip:8080/v1/chat/completions \-H "Content-Type: application/json" \-d '{    "model": "deepseek",    "messages": [{"role": "user", "content": "你好"}],    "temperature": 0.7,    "max_tokens": 512}'

import requestsimport jsonurl = "http://sophora-3-1:8080/v1/chat/completions"headers = {"Content-Type": "application/json"}data = {    "model": "deepseek",    "messages": [{"role": "user", "content": "解释什么是深度学习"}],    "temperature": 0.7,    "max_tokens": 256}resp = requests.post(url, headers=headers, json=data)print(resp.json()["choices"][0]["message"]["content"])

🔴 问题 1：编译时提示 “unsupported GNU version”

原因：CUDA 版本与 GCC 不兼容（如 CUDA 9.2 不支持 GCC 8+）。解决：指定 

-DCMAKE_CUDA_HOST_COMPILER=/path/to/gcc-6.2/bin/g++

，使用较低版本的 GCC 作为宿主编译器，而主编译器仍用高版本。

🔴 问题 2：运行时出现 “Illegal instruction”

原因：编译时启用了当前 CPU 不支持的指令集（如 AVX512）。解决：重新编译时添加 

🔴 问题 3：API 服务启动后无法外部访问

 是否正确；② 防火墙是否放行端口（

 需要 root，普通用户可联系管理员）；③ 客户端能否 ping 通服务器 IP。

🔴 问题 4：模型加载失败 “unknown pre-tokenizer type”

原因：llama.cpp 版本过旧，不支持 DeepSeek 的特殊 tokenizer。解决：升级到较新版本（如 

（需根据实际核心数调整）；• 使用更大量化（如 Q4_K_M）平衡速度与质量；• 如显存不足，减少 

通过本文的步骤，你可以在自己的 GPU 服务器上成功部署 DeepSeek 模型，并将其封装为 OpenAI 兼容的 API 服务，供各类 AI Agent 调用。整个过程完全在普通用户权限下完成，无需 root 权限。

不同显卡的编译选项已在上文列出，请根据实际硬件调整。遇到问题时，善用日志（

）和搜索引擎，多数编译错误都能在社区找到解决方案。

现在，你的私有 DeepSeek 已准备就绪，开始享受更安全、更可控的本地大模型体验吧！

后端

人工智能

开发工具

"DeepSeek集群服务器无root本地部署指南：详细讲解如何在NVIDIA/AMD/Intel GPU服务器上部署DeepSeek模型，包括环境准备、llama.cpp编译、GGUF模型下载、API服务搭建及调用方法。提供CUDA/ROCm/SYCL多平台支持，适合普通用户权限操作，助你快速搭建私有AI助手服务。"

深度学习

服务器

防火墙

编译器

DeepSeek

Linux

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

DeepSeek 集群服务器无root本地部署指南

DeepSeek 集群服务器无root本地部署指南

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐