把资料问答服务部署在云主机上，经端口映射监听该主机的`127.0.0.1:3001`，浏览器却在自己电脑上：访问靠SSH隧道，上传选择框读取电脑文件。下面用AnythingLLM搭一套CPU演示环境，完成模拟FAQ上传、嵌入与回答来源核对。内容按官方资料整理，未执行云主机部署、SSH连接或问答实测。

## 1. 先确认云主机能承担模型任务

AnythingLLM可把FAQ、产品手册等资料放进工作区，供客服、运营或开发检索提问。1.19.0的Docker内置LLM可以在应用容器里运行本地模型，本例不再部署独立推理服务，也不需要付费API密钥。

准备Linux云主机、Docker Engine、Compose V2、Bash、curl，以及可登录该主机的SSH账号。以下检查在云主机终端执行：

```bash
docker version
docker compose version
curl --version
free -h
df -h "$HOME"
```

Docker应返回服务端信息，Compose应为V2。连接Docker失败先处理服务或权限，不继续部署。CPU路径支持amd64/arm64；旧x86主机还要核AVX2，出现`Illegal instruction`不能靠重启解决。内存和磁盘须同时容纳应用、模型与运行开销，模型文件大小不是总内存需求。

## 2. 完整配置放在云主机目录

仍在云主机执行。演示使用新目录，storage按发布镜像的UID/GID 1000设置属主；`.env`先建成文件，避免挂载出错：

```bash
mkdir -p "$HOME/anythingllm-demo/storage"
cd "$HOME/anythingllm-demo"
touch storage/.env
sudo chown -R 1000:1000 storage
sudo chmod 700 storage
sudo chmod 600 storage/.env
cat > compose.yaml <<'YAML'
name: anythingllm-faq-demo
services:
  app:
    image: ghcr.1ms.run/mintplex-labs/anything-llm:1.19.0
    ports:
      - "127.0.0.1:3001:3001"
    environment:
      STORAGE_DIR: /app/server/storage
      ENABLE_BUILT_IN_LLM: "true"
      EMBEDDED_LEMONADE_REGISTRY: modelscope
    volumes:
      - ./storage:/app/server/storage
      - ./storage/.env:/app/server/.env
    restart: unless-stopped
YAML
docker compose config --quiet
```

最后一条应无报错；有错误先按行号修正。这里没有GPU映射或额外系统权限。两条挂载分别覆盖应用storage和服务配置文件，部署时需一起保留。

```bash
docker compose pull
```

拉取失败先查看仓库、权限和网络报错，确认成功后再启动：

```bash
docker compose up -d
docker compose ps
curl -I http://127.0.0.1:3001/
```

服务应运行并返回HTTP响应；HTTP有响应仍需浏览器确认页面。持续连接失败、5xx或容器反复退出时执行：

```bash
docker compose logs --tail=100 app
```

数据库无法打开先查目录属主和权限，下载报错则定位相应模型文件；不要用放宽整个目录权限掩盖问题。

## 3. 电脑经隧道打开管理页

回到自己电脑的终端，替换SSH用户名和云主机地址，执行：

```bash
ssh -N -L 127.0.0.1:3001:127.0.0.1:3001 用户名@云主机地址
```

保持终端打开，在电脑浏览器访问`http://127.0.0.1:3001/`。本地端口占用先释放端口，SSH认证或网络失败先处理连接；云主机回环检查已成功但电脑打不开，应先查隧道，不需要为管理页开放公网3001入站。

正常建立隧道后，终端通常不返回命令提示符，保留这个窗口即可。创建FAQ请另开电脑终端；部署、日志和重建命令仍在云主机会话执行。若电脑曾运行其它3001服务，先确认浏览器访问的不是本地旧页面，再判断云端应用状态；端口冲突处理后重新建立隧道。

首次引导选`Just me`，启用`Would you like to set up a password?`并填`Instance Password`。若跳过，进入`Settings → Security`，打开`Password Protection`、设置密码并点`Save changes`。重新进入应要求密码，验证后再上传资料。

![anythingllm-workflow.png](https://developer.qcloudimg.com/http-save/yehe-12695357/8ec15c1f7c733a8e02c22078877fab97.png)

## 4. 推理模型和中文嵌入分开准备

在`Built-in`的`Show all models`中选`Qwen3.5-2B`，点`Download`并选用，仅用于本次短FAQ。内存不足先换小模型或调整主机；找不到Built-in时到`Settings → AI Providers → LLM`检查，再核启动变量并重建。

嵌入提供者选`AnythingLLM Default`，模型选`multilingual-e5-small`，向量库保留`LanceDB`。中文资料先选好嵌入模型再入库，后续更换需要重新嵌入。

应用镜像、内置引擎、首聊推理运行时、模型权重和嵌入模型分别下载。ModelScope设置只用于内置LLM模型仓库，嵌入仍从其官方分发源获取，失败可回官方CDN。观察下载进度和日志，未下载完成就停在该步骤；不能因管理页能打开而认定模型已可用，也不承诺首次启动断网可用。

## 5. 在电脑创建FAQ，再上传到工作区

下面的文件在打开浏览器的电脑上创建。Linux/macOS终端执行：

```bash
mkdir -p "$HOME/anythingllm-demo-input"
cat > "$HOME/anythingllm-demo-input/faq-demo.md" <<'FAQ'
# 模拟活动FAQ
资料版本：DEMO-20261029-r1。以下全部为虚构演示规则。

## 规则A：报名截止
演示活动报名于2026年10月30日18:00截止，时区为北京时间。

## 规则B：优惠叠加
演示活动的体验券不能与会员折扣叠加使用。
FAQ
cat "$HOME/anythingllm-demo-input/faq-demo.md"
```

应看到版本号和两条规则；文件不在云主机，网页上传时从电脑目录选择。点`New Workspace`建`faq-demo`并`Save`，悬停工作区名称点上传箭头，使用`Click to upload or drag and drop`上传文件，再`Move to Workspace`、`Save and Embed`。等嵌入完成并核对工作区列表；只上传进文档库还不能作为检索验收。

在工作区`Chat Settings`选`Query`，等待自动保存，再重新打开确认生效。问“这份模拟活动什么时候截止报名？请给出资料依据。”回答应对应10月30日18:00及北京时间；点`Sources`核文件名、版本号和规则A。日期对却缺对应来源仍未通过，先检查当前工作区是否已嵌入该文件。

另开对话问“这份模拟活动退款几天到账？”资料没有退款规则，应说明资料不足。若给出具体天数，停止向业务交付并回查模式、检索与提示设置；Query不是无幻觉保证。

## 6. 回到云主机做重建验收

切回云主机原目录执行：

```bash
cd "$HOME/anythingllm-demo"
docker compose up -d --force-recreate
docker compose ps
```

服务恢复后，电脑仍通过隧道进入，核工作区、文档和设置，再问截止时间并打开Sources。资料消失先查是否用了原目录与两条挂载，不要重新上传掩盖问题。

结束演示，在云主机执行：

```bash
docker compose down
```

主机上的storage和`.env`会保留；电脑隧道可在原终端按Ctrl+C关闭。保留数据不是备份，隧道能连也不是问答成功。最终交接应包含资料版本、两问结果和对应原文，真实业务资料另核权限与备份方式。


把资料问答服务部署在云主机上，经端口映射监听该主机的127.0.0.1:3001，浏览器却在自己电脑上：访问靠SSH隧道，上传选择框读取电脑文件。下面用AnythingLLM搭一套CPU演示环境，完成模拟FAQ上传、嵌入与回答来源核对。内容按官方资料整理，未执行云主机部署、SSH连接或问答实测。

云主机Docker部署AnythingLLM：通过SSH隧道完成资料问答

人工智能

将AnythingLLM部署于云主机并通过SSH隧道访问，实现CPU环境下的FAQ问答演示。涵盖Docker部署、内置模型Qwen3.5-2B、中文嵌入、文件上传及答案来源核验。重点验证截止时间等规则问答准确性，强调模型选择与嵌入一致性，提供完整的重建验收流程，确保演示可靠且可复现。

代码解释

数据库

云主机

容器

Docker

Linux

MacOS

让每一个 Agent，都跑在云上

4核4G3M云服务器 新用户低至38元/年！

CDN免费试用


文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

云主机Docker部署AnythingLLM：通过SSH隧道完成资料问答-腾讯云开发者社区-腾讯云

云主机Docker部署AnythingLLM：通过SSH隧道完成资料问答

云主机Docker部署AnythingLLM：通过SSH隧道完成资料问答

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐