别再让大模型吃灰！Ollama 从安装到生产级调优，一篇搞定

curl -fsSL https://ollama.com/install.sh | sh

# 下载官方二进制
wget https://github.com/ollama/ollama/releases/download/v0.5.1/ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

# 添加到系统服务（可选）
sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama
sudo cp ollama /usr/local/bin/
sudo ollama serve &

wsl --install -d Ubuntu
# 进入 Ubuntu 子系统后执行 Linux 安装命令

ollama --version          # 显示版本号
ollama list               # 列出已下载模型（初始为空）
ollama pull llama3.2:1b   # 下载测试用小模型验证连通性
ollama run llama3.2:1b "Hello, introduce yourself"

# Linux 服务配置文件
/etc/systemd/system/ollama.service

# 用户级环境变量文件
~/.ollama/env.conf

# 模型配置文件（Modelfile 示例）
~/my-models/Modelfile

sudo systemctl edit ollama

[Service]
# 基础环境变量
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"
Environment="OLLAMA_MODELS=/data/ollama/models"  # 更改模型存储路径

# GPU 相关配置
Environment="CUDA_VISIBLE_DEVICES=0,1"            # 使用前两个 GPU
Environment="OLLAMA_GPU_OVERHEAD=2048"            # GPU 预留显存（MB）
Environment="OLLAMA_MAX_LOADED_MODELS=3"          # 最多同时加载 3 个模型到显存
Environment="OLLAMA_NUM_PARALLEL=4"               # 单模型并行请求数

# 内存与 CPU 优化
Environment="OLLAMA_KEEP_ALIVE=5m"                # 模型空闲保留时间
Environment="OLLAMA_FLASH_ATTENTION=1"            # 启用 Flash Attention
Environment="OLLAMA_NUM_THREADS=8"                # CPU 推理线程数

# 调试与日志
Environment="OLLAMA_DEBUG=0"                     # 生产环境关闭调试日志

# 资源限制（防止 OOM）
LimitNOFILE=65536
MemoryMax=32G
CPUQuota=400%

sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl status ollama

# 安装 numactl
sudo apt install numactl

# 修改启动命令，绑定到特定 NUMA 节点
sudo systemctl edit ollama --full
# 在 ExecStart 中添加：
ExecStart=/usr/bin/numactl --cpunodebind=0 --membind=0 /usr/local/bin/ollama serve

# 写入 service 配置
Environment="HTTP_PROXY=http://your-proxy:port"
Environment="HTTPS_PROXY=http://your-proxy:port"
Environment="NO_PROXY=localhost,127.0.0.1"

# 安装 modelscope
pip install modelscope

# 下载模型到自定义目录
modelscope download --model Qwen/Qwen2-7B-Instruct-GGUF \
    --local_dir /data/ollama/models/blobs

# 导入 Ollama 格式
ollama create qwen2:7b -f /path/to/Modelfile

# 基础模型（使用量化版本获得最佳性能）
FROM qwen2:7b-q4_K_M

# 设置温度等采样参数（覆盖默认值）
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER top_k 40
PARAMETER repeat_penalty 1.1
PARAMETER num_ctx 4096          # 上下文窗口大小（GPU 内存影响大）
PARAMETER num_predict 512       # 最大生成长度

# 系统提示词（优化任务特定能力）
SYSTEM """
你是一个技术文档助手，回答需要包含代码示例，并遵循以下规则：
1. 先给出解决方案概述
2. 使用简体中文专业术语
3. 代码块标注语言类型
"""

# 模板格式（针对聊天场景）
TEMPLATE """[INST] {{ .System }}
{{ .Prompt }} [/INST]"""

# 适配器配置（用于 LoRA 微调）
ADAPTER /path/to/adapters/qwen-lora

# 指定量化级别（重新量化）
QUANTIZE q4_K_M

ollama create my-assistant -f ./Modelfile
ollama run my-assistant "如何用 Python 实现快速排序？"

# 查看 GPU 显存状态
ollama ps

# 强制卸载特定模型
ollama stop llama3.2:1b

# 启动时设置最大加载模型数（避免显存溢出）
OLLAMA_MAX_LOADED_MODELS=2 ollama serve

# 模型加载到 GPU 0
CUDA_VISIBLE_DEVICES=0 ollama run qwen2:7b

# 另一个实例在 GPU 1
CUDA_VISIBLE_DEVICES=1 ollama run llama3:8b

# test_flash_attn.py
import requests
import time

# 启用 Flash Attention 的模型
url = "http://localhost:11434/api/generate"
payload = {
    "model": "qwen2:7b",
    "prompt": "Explain flash attention in simple terms",
    "options": {"num_ctx": 8192, "use_flash_attn": True}
}

start = time.time()
response = requests.post(url, json=payload)
print(f"Time with Flash Attention: {time.time()-start:.2f}s")
print(response.json()["response"][:200])

# /etc/nginx/sites-available/ollama
upstream ollama_backend {
    least_conn;  # 最少连接算法
    server 127.0.0.1:11434 max_fails=3 fail_timeout=30s;
    server 127.0.0.1:11435 max_fails=3 fail_timeout=30s;  # 多实例
}

server {
    listen 80;
    server_name ollama.local;

    # 限流配置
    limit_req_zone $binary_remote_addr zone=ollama_limit:10m rate=10r/s;
    limit_req zone=ollama_limit burst=20 nodelay;

    client_max_body_size 100M;
    proxy_read_timeout 300s;

    location / {
        proxy_pass http://ollama_backend;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        
        # 流式响应支持
        proxy_buffering off;
        proxy_cache off;
        
        # CORS 配置
        add_header 'Access-Control-Allow-Origin' '*';
        add_header 'Access-Control-Allow-Methods' 'GET, POST, OPTIONS';
    }
}

# 终端1：实例1
ollama serve --port 11434

# 终端2：实例2  
OLLAMA_HOST=0.0.0.0:11435 ollama serve

#!/bin/bash
# benchmark.sh

MODELS=("llama3.2:1b" "qwen2:7b-q4_K_M" "llama3:8b")
PROMPT="Write a Python function to compute fibonacci numbers"

for model in "${MODELS[@]}"; do
    echo "Testing $model..."
    
    # 首次加载测试（冷启动）
    time ollama run "$model" "$PROMPT"
    
    # 热启动性能（保持模型在显存）
    for i in {1..5}; do
        START=$(date +%s%N)
        ollama run "$model" "$PROMPT" > /dev/null
        END=$(date +%s%N)
        ELAPSED=$((($END - $START) / 1000000))
        echo "Run $i: ${ELAPSED}ms"
    done
done

# monitor.py
import psutil
import subprocess
import time

def get_gpu_memory():
    """NVIDIA GPU 显存监控"""
    result = subprocess.run(
        ['nvidia-smi', '--query-gpu=memory.used,memory.total', '--format=csv,noheader'],
        capture_output=True, text=True
    )
    return [line.split(',') for line in result.stdout.strip().split('\n')]

def monitor_ollama():
    for proc in psutil.process_iter(['pid', 'name', 'memory_percent', 'cpu_percent']):
        if 'ollama' in proc.info['name']:
            print(f"OLLAMA PID: {proc.info['pid']}")
            print(f"CPU: {proc.info['cpu_percent']}%")
            print(f"Memory: {proc.info['memory_percent']:.2f}%")
    
    gpus = get_gpu_memory()
    for i, (used, total) in enumerate(gpus):
        print(f"GPU{i}: {used}MB / {total}MB ({int(used)/int(total)*100:.1f}%)")

if __name__ == "__main__":
    while True:
        monitor_ollama()
        time.sleep(5)

# 自动重启脚本
#!/bin/bash
while true; do
    if ! pgrep -x "ollama" > /dev/null; then
        ollama serve &
    fi
    # 每日凌晨 3 点重启
    if [ $(date +%H) -eq 3 ] && [ $(date +%M) -eq 0 ]; then
        pkill ollama
        sleep 10
        ollama serve &
    fi
    sleep 60
done

# 限制单次推理最大 token
ollama run qwen2:7b --num-predict 512 --num-ctx 2048

# 或使用更小量化版本
ollama pull qwen2:7b-q2_K  # 约 2.7GB 显存

# 预热脚本
models = ["qwen2:7b", "llama3:8b"]
for m in models:
    requests.post("http://localhost:11434/api/generate", 
                  json={"model": m, "prompt": "ping", "stream": False})

# 最终推荐的生产环境配置组合
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_MAX_LOADED_MODELS=2"          # 根据显存大小调整（每 7B 模型约 6GB）
Environment="OLLAMA_NUM_PARALLEL=4"               # 对于 7B 模型，4 是吞吐与延迟的平衡点
Environment="OLLAMA_KEEP_ALIVE=10m"               # 生产环境建议 5-15 分钟
Environment="OLLAMA_FLASH_ATTENTION=1"            # 除非 GPU 极老（Compute Capability < 7.0）
Environment="OLLAMA_NUM_THREADS=$(nproc)"         # CPU 推理时充分利用所有核心

# 模型选择建议
# 个人使用：q4_K_M 量化（如 qwen2:7b-q4_K_M，约 4.1GB）
# 生产服务：q5_K_M 量化（稍高精度，约 5.2GB）
# 边缘设备：q2_K 或 IQ2_M（< 3GB 显存）