[SOT] Enable SOT Dy2St in Multimodal Model

[DrRyanHuang]

之前的参数 --enable-static-graph-inference 在多模模型不生效，本pr将该参数透传下去

（需要先合入 #2731 ✅️ 与 #2733 ✅️）

---

在多模 ERNIE-4.5-VL-28B-A3B-Base-Paddle ，开启SOT推理，与动态图端到端性能数据对比：

指标	SOT	动态图
Successful requests	1975	1973
Benchmark duration (s)	2047.86	2589.33
Total input tokens	6574762	6566334
Total generated tokens	1477338	1452119
Request throughput (req/s)	0.96	0.76
Output token throughput (tok/s)	721.41	560.81
Total Token throughput (tok/s)	3931.97	3096.73

测试细节

# 起服务脚本
python -m fastdeploy.entrypoints.openai.api_server \
       --model $model_path \
       --port $port \
       --tensor-parallel-size 1 \
       --max-model-len 32768 \
       --max-num-seqs 128 \
       --enable-mm \

测试数据 0512_api9_mm_ds_9974_for_fastdeploy 前 2000 条数据集 --max-concurrency 100

其余环境变量

export SOT_UNSAFE_CACHE_FASTPATH=1
export SOT_ENABLE_0_SIZE_FALLBACK=0 
export FLAGS_specialize_device_in_dy2st=1
export FLAGS_parameters_persistent_mode_in_dy2st=1

cc @SigureMo

[paddle-bot]

Thanks for your contribution!

[SigureMo]

LGTMeow

[ming1753]

LGTM