Prerequisites
Bug Description
该问题发生在基于Go语言服务端通过CGO接口调用底层C++推理引擎的环境中,使用的模型配置为Qwen3-0.6B以及deepseekOCR。
故障在服务器进程重启后以一定概率随机出现。一旦触发，模型输出虽为错误，但生成的Token序列在不同终端设备上完全一致（具有跨设备的确定性）。偏差通常从生成的第一个 Token 即开始出现。进程不会崩溃，但会持续输出上述稳定且错误的推理结果。
Steps to Reproduce
1.按照tasks/build_android.yaml编译 C++ 核心库，并使用tasks/build_android_mllm_server.yaml交叉编译 Go 服务端。
2.将编译生成的 .so 库文件（libMllmRT, libMllmCPUBackend 等）及mllm_web_server二进制文件推送到Android设备。
3.在设备端设置 LD_LIBRARY_PATH=.并启动服务端
./mllm_web_server \
--model-path /path/to/your/qwen3_model_dir \
--ocr-model-path /path/to/your/deepseek_ocr_model_dir4.因为是随机出现，所以可能需要多次重启服务器结合chatbox才能观察到bug，如果重启后输出正常请关掉服务器重启。多次重复就会观察到这个bug。
详细步骤可参考： https://ubiquitouslearning.github.io/mllm/service/mllm_cli.html
Expected Behavior
bug出现时qwen3输出为：
保证女您ailand[](_plugins.exportsafkatranisper[](_plugins.exportsafkatranisper[](_plugins.exportsafkatranisper[](_plugins.exportsafkatranisper[](_plugins.exportsafkatranisper[](_plugins.exportsafkatranisper[]
deepseekOCR输出为：
−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|></td−1
Operating System
Android
Device
两部测试手机均出现了这个随机出现但确定性问题
MLLM Framework Version
mllm v2.0
Model Information
Qwen3-0.6B以及deepseekOCR
Additional Context
No response
Prerequisites
Bug Description
该问题发生在基于Go语言服务端通过CGO接口调用底层C++推理引擎的环境中,使用的模型配置为Qwen3-0.6B以及deepseekOCR。
故障在服务器进程重启后以一定概率随机出现。一旦触发，模型输出虽为错误，但生成的Token序列在不同终端设备上完全一致（具有跨设备的确定性）。偏差通常从生成的第一个 Token 即开始出现。进程不会崩溃，但会持续输出上述稳定且错误的推理结果。
Steps to Reproduce
1.按照tasks/build_android.yaml编译 C++ 核心库，并使用tasks/build_android_mllm_server.yaml交叉编译 Go 服务端。
2.将编译生成的 .so 库文件（libMllmRT, libMllmCPUBackend 等）及mllm_web_server二进制文件推送到Android设备。
3.在设备端设置 LD_LIBRARY_PATH=.并启动服务端
./mllm_web_server \ --model-path /path/to/your/qwen3_model_dir \ --ocr-model-path /path/to/your/deepseek_ocr_model_dir4.因为是随机出现，所以可能需要多次重启服务器结合chatbox才能观察到bug，如果重启后输出正常请关掉服务器重启。多次重复就会观察到这个bug。
详细步骤可参考： https://ubiquitouslearning.github.io/mllm/service/mllm_cli.html
Expected Behavior
bug出现时qwen3输出为：
保证女您ailand[](_plugins.exportsafkatranisper[](_plugins.exportsafkatranisper[](_plugins.exportsafkatranisper[](_plugins.exportsafkatranisper[](_plugins.exportsafkatranisper[](_plugins.exportsafkatranisper[]
deepseekOCR输出为：
−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|>−1 <|ref|></td−1
Operating System
Android
Device
两部测试手机均出现了这个随机出现但确定性问题
MLLM Framework Version
mllm v2.0
Model Information
Qwen3-0.6B以及deepseekOCR
Additional Context
No response