为每个上游供应商(Upstream)独立配置是否使用网络代理以及代理的详细参数,使 NexusGate 能够灵活适应复杂的网络环境。
实际意义
在实际企业部署中,不同 LLM 供应商的网络可达性往往不同。例如:
访问 OpenAI、Anthropic、Google Gemini 等海外供应商通常需要通过 HTTP/SOCKS 代理
访问 DeepSeek、阿里云百炼、本地部署的 vLLM/Ollama 等国内或内网服务则无需代理,甚至不能走代理
目前 NexusGate 的上游配置中不支持为单个供应商指定代理设置,用户只能依赖系统级环境变量(如 HTTP_PROXY、HTTPS_PROXY)来控制代理行为。这种方式是"全局生效"的,无法做到对不同供应商差异化配置,导致以下问题:
国内外混合场景受限:同时接入海外和国内 LLM 服务时,全局代理会导致国内请求也走代理,增加延迟甚至造成连接失败
内网穿透困难:本地推理服务(如 vLLM、Ollama)部署在内网时,代理可能无法到达内网地址
运维复杂度高:用户不得不在系统层面通过 NO_PROXY 环境变量手动排除,配置分散且容易出错
为每个上游供应商(Upstream)独立配置是否使用网络代理以及代理的详细参数,使 NexusGate 能够灵活适应复杂的网络环境。
实际意义
在实际企业部署中,不同 LLM 供应商的网络可达性往往不同。例如:
访问 OpenAI、Anthropic、Google Gemini 等海外供应商通常需要通过 HTTP/SOCKS 代理
访问 DeepSeek、阿里云百炼、本地部署的 vLLM/Ollama 等国内或内网服务则无需代理,甚至不能走代理
目前 NexusGate 的上游配置中不支持为单个供应商指定代理设置,用户只能依赖系统级环境变量(如 HTTP_PROXY、HTTPS_PROXY)来控制代理行为。这种方式是"全局生效"的,无法做到对不同供应商差异化配置,导致以下问题:
国内外混合场景受限:同时接入海外和国内 LLM 服务时,全局代理会导致国内请求也走代理,增加延迟甚至造成连接失败
内网穿透困难:本地推理服务(如 vLLM、Ollama)部署在内网时,代理可能无法到达内网地址
运维复杂度高:用户不得不在系统层面通过 NO_PROXY 环境变量手动排除,配置分散且容易出错