1. 前言

8 月 14 号千问开源了 Qwen3.8-27B（270亿参数的稠密模型），其 Agent 和代码能力在同级里相当能打，AA榜单最新不知道第几版的分数为34分，GPT-5.6 Terra High 分数也是34分。虽然现在大家都说AA榜单已经算是半个野榜了，但还算有些参考价值。

不过夜梦更推荐小伙伴看这个视频：看Qwen3.8 27B这四两，拨Opus4.6这千斤 | 屎山考核来判断 Qwen3.8-27B 的能力，省流：和 Opus-4.6 差不多，在性能上还是不弱的。

夜梦第一个月后的时间就想把它接到本地 Agent（ MiniMax Code）中试试。

但夜梦本地显卡只是笔记本3060，跑 Qwen3.8-27B 是不可能的，而且买卡是不可能买卡的（太昂贵了 QwQ ）。

所以夜梦换了个思路：在 AutoDL 按小时租一块显卡，用 vLLM 起一个 OpenAI 兼容的 API 服务，再用 SSH 隧道把端口映射回本地电脑。这样对本地 Agent 来说，模型和在自己机器上一样（127.0.0.1:8000），数据全程走 SSH 加密隧道。

本文省流：

AutoDL 实例（vLLM 监听实例内的 127.0.0.1:8000）—— SSH 加密隧道 —— 本地电脑（127.0.0.1:8000）—— 本地回环 —— MiniMax Code / 任何 OpenAI 兼容 Agent

2. 准备

1、注册 AutoDL 并充值，32G显存的GPU服务器只需要1.58元/小时，也可以选择更便宜的服务器，目前（9/26）没有文章ddl，所以服务器资源很充足。

夜梦这里选择vGPU-32GB，镜像选择PyTorch / 2.8.0 / 3.12(ubuntu22.04) / 12.8，不用添加数据盘。

vGPU-32GB推荐部署4bit量化版，如果要部署8bit推荐使用48G显存。

点击创建并开机。可以到控制台查看登录指令与密码。

2、打开powershell；

3、装好MiniMax Code，或者OpenCode，Pi等。

3. 部署

先通过SSH连接你的服务器，直接复制控制台的连接命令后，输入密码即可。

ssh -p yourPort yourUserName@connect.westd.seetacloud.com

接下来需要我们通过ssh，在【服务器】上装 tmux 和推理框架（实测新镜像没有 tmux；默认阿里云 pip 源下大文件容易超时，直接用清华源）：

apt-get update && apt-get install -y tmux

pip install -U vllm modelscope --default-timeout=180 --retries 20 -i https://pypi.tuna.tsinghua.edu.cn/simple

在服务器上下载模型：

modelscope download --model ArkStudioTree/Qwen3.8-27B-GPTQ-Int4 --local_dir /root/autodl-tmp/models/Qwen3.8-27B-GPTQ-Int4

在服务器 tmux 里启动服务（这里上下文设置成了131072 ）：

tmux new -s vllm

export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True

vllm serve /root/autodl-tmp/models/Qwen3.8-27B-GPTQ-Int4 \
  --served-model-name Qwen3.8-27B \
  --max-model-len 131072 \
  --gpu-memory-utilization 0.92 \
  --max-num-batched-tokens 2048 \
  --max-num-seqs 32 \
  --enforce-eager \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --host 127.0.0.1 --port 8000

等待日志中看到 Application startup complete 就绪，按 Ctrl+B 再按 D 把服务收进后台（tmux attach -t vllm 可回去看日志）。在ssh输入以下命令进行服务器自测：

curl http://127.0.0.1:8000/v1/models

在服务器中操作完毕后，新建一个powershell窗口，在本地开隧道（保持这个窗口不关）：

ssh -CNg -L 8000:127.0.0.1:8000 -o ServerAliveInterval=30 -p yourPort yourUserName@connect.westd.seetacloud.com

输入完这个不会有什么反应，

直接在本地再开一个powershell进行验证：

curl http://127.0.0.1:8000/v1/models

显示如下就成功了：

4. 本地调用

打开MiniMax Code或者其他agent，输入配置（key随便填，地址填http://127.0.0.1:8000/v1）：

点击获取，就可以得到模型了：

思考强度支持xhigh/medium/low三档，上下文为之前设置的131072（看使用的是哪个命令）。

成功回复（慢了点，当玩具玩玩可以）：

5. 后记

不用的时候记得停机，要不然账单会爆炸的（幸好是预扣费，账户里面没钱就自动停机了）。