vLLM 更新后启动连接 192.18.0.1 失败问题

前情

不小心拉取了 vLLM 最新的代码，导致启动失败。

报错核心如下：

(EngineCore_DP0 pid=32505) INFO 01-04 10:09:33 [parallel_state.py:1203] world_size=1 rank=0 local_rank=0 distributed_init_method=tcp://192.18.0.1:50976 backend=gloo

导致一直连接不上，无法启动。

原因

192.18.0.1 是 docker 用来和 mac 端进行通信的 ip 地址。

我本地开启 utun 的虚拟网卡代理。

vLLM 应该是出于什么原因默认选择了 192.18.0.1。

解决办法就是将 HOST 改为 127.0.0.1

解决

vllm-metal 是 vLLM 的一个项目，适用于 Apple Silicon 的 vLLM 硬件插件。

source ~/.venv-vllm-metal/bin/activate

export PYTORCH_ENABLE_MPS_FALLBACK=1
export VLLM_HOST_IP=127.0.0.1
export http_proxy=http://127.0.0.1:7890
export https_proxy=http://127.0.0.1:7890
export socks_proxy=socks://127.0.0.1:7890

vllm serve ~/.cache/modelscope/hub/models/Qwen/Qwen3-0___6B \
  --served-model-name qwen3-0.6b \
  --reasoning-parser deepseek_r1 \
  --gpu-memory-utilization 0.8 \
  --port 8000 \
  --enable-auto-tool-choice \
  --tool-call-parser hermes \
  --max-num-seqs 4 \
  --max-model-len 2048