UnifiedReward-qwen3vl-8b测试效果问题

[huan085128]

模型：UnifiedReward-2.0-qwen3vl-8b
用的vllm_server.sh以及point_score_ACS_image_generation.py进行推理，提示词模板默认，只修改了图像路径和对应的提示词，不知道是不是我使用方法不对，测了好几组都不太准确。

prompt: 'Shot with professional lighting from a slightly elevated angle for a miniature, top-down view. The foreground features softly blurred crispy honey kumquats scattered along the left and bottom edges, their fuzzy texture slightly out of focus. A hexagonal, bamboo-woven tray sits in the mid-ground, filled with vibrant whole and halved kumquats. Among them are glossy ones with light-green stems, one cut open to show translucent pale-yellow pulp, and another with a dark-spotted stem. To the right, a light-colored wooden bowl contains more kumquats with natural blemishes on their skin.'

Alignment Score: 3.0894999504089355 Coherence Score: 3.76200008392334 Style Score: 3.5927000045776367	Alignment Score: 3.2690999507904053 Coherence Score: 3.851300001144409 Style Score: 3.519200086593628

prompt: '黑色长盘上整齐摆放着新鲜羔羊羊肉火锅片，肉质红润带白脂肪，背景可见油瓶、餐具容器及叉子，整体置于深色台面。'

Alignment Score: 3.3889999389648438 Coherence Score: 3.877700090408325 Style Score: 3.2314000129699707	Alignment Score: 3.0699000358581543 Coherence Score: 3.541100025177002 Style Score: 3.1164000034332275

[CodeGoat24]

Hi~

感谢反馈！

1. 对于第一组样例：

翻译prompt：用专业的灯光从稍微升高的角度拍摄一个微型的，自上而下的视图。前景的特点是柔和模糊的脆脆蜂蜜金桔散落在左侧和底部边缘，其模糊的纹理略显模糊。一个六角形的竹编托盘放在地面中央，里面装满了充满活力的整颗和半颗金橘。其中有光滑的，有浅绿色的茎，一种被切开，露出半透明的淡黄色果肉，还有一种茎有深色斑点。在右边，一个浅色的木碗里装着更多的金橘，它们的皮肤上有天然的斑点。

(1) 在Alignment维度上，我认为右图完全符合要求，左图有部分语义未很好生成，如浅绿色的茎，深色斑点等。（与模型打分一致）
(2) 在Coherence维度上，我个人认为左图AI感相比右图严重。（与模型打分一致）
(3) 在Style维度上（独立于prompt的偏好分数），我个人认为右图更好，但是模型给左图更高分，这个case上感觉确实没打准。（与模型打分不一致）

2. 对于第二组样例：

prompt：黑色长盘上整齐摆放着新鲜羔羊羊肉火锅片，肉质红润带白脂肪，背景可见油瓶、餐具容器及叉子，整体置于深色台面。

(1) 在Alignment维度上，我认为左图除了 黑色长盘 未生成正确，其他都符合要求，右图有部分语义相比左图未很好生成，如整齐摆放，餐具容器，背景可见油瓶（图上生成的是酒瓶）。（与模型打分一致）
(2) 在Coherence维度上，我个人认为右图AI感相比左图严重，因为右图右上角出现了混乱的内容。（与模型打分一致）
(3) 在Style维度上（独立于prompt的偏好分数），我个人认为两张图差不多，但左图在布局构图上更好。（与模型打分一致）

[huan085128]

Hi~

感谢反馈！

1. 对于第一组样例：

翻译prompt：用专业的灯光从稍微升高的角度拍摄一个微型的，自上而下的视图。前景的特点是柔和模糊的脆脆蜂蜜金桔散落在左侧和底部边缘，其模糊的纹理略显模糊。一个六角形的竹编托盘放在地面中央，里面装满了充满活力的整颗和半颗金橘。其中有光滑的，有浅绿色的茎，一种被切开，露出半透明的淡黄色果肉，还有一种茎有深色斑点。在右边，一个浅色的木碗里装着更多的金橘，它们的皮肤上有天然的斑点。

(1) 在Alignment维度上，我认为右图完全符合要求，左图有部分语义未很好生成，如浅绿色的茎，深色斑点等。（与模型打分一致） (2) 在Coherence维度上，我个人认为左图AI感相比右图严重。（与模型打分一致） (3) 在Style维度上（独立于prompt的偏好分数），我个人认为右图更好，但是模型给左图更高分，这个case上感觉确实没打准。（与模型打分不一致）

2. 对于第二组样例：

prompt：黑色长盘上整齐摆放着新鲜羔羊羊肉火锅片，肉质红润带白脂肪，背景可见油瓶、餐具容器及叉子，整体置于深色台面。

(1) 在Alignment维度上，我认为左图除了 黑色长盘 未生成正确，其他都符合要求，右图有部分语义相比左图未很好生成，如整齐摆放，餐具容器，背景可见油瓶（图上生成的是酒瓶）。（与模型打分一致） (2) 在Coherence维度上，我个人认为右图AI感相比左图严重，因为右图右上角出现了混乱的内容。（与模型打分一致） (3) 在Style维度上（独立于prompt的偏好分数），我个人认为两张图差不多，但左图在布局构图上更好。（与模型打分一致）

我还测试了其他的一些case，总体感觉就是前两个维度准确率挺高的，但在Style维度上比较低，经常那种很油腻的图给更高的分数

[CodeGoat24]

感谢反馈！

这可能是因为训练数据分布中油腻的图在Style维度上高分比较多，导致模型学到了bias～

据我所知每个reward model在point score打分上都会有一些bias，如喜欢饱和颜色或偏紫颜色风格等。

推荐使用pairwise score或pairwise rank进行对比图像，我们也在Pref-GRPO工作中证明了pairwise比point打分更可靠稳定！

[CodeGoat24]

Hi~
感谢反馈！

1. 对于第一组样例：

翻译prompt：用专业的灯光从稍微升高的角度拍摄一个微型的，自上而下的视图。前景的特点是柔和模糊的脆脆蜂蜜金桔散落在左侧和底部边缘，其模糊的纹理略显模糊。一个六角形的竹编托盘放在地面中央，里面装满了充满活力的整颗和半颗金橘。其中有光滑的，有浅绿色的茎，一种被切开，露出半透明的淡黄色果肉，还有一种茎有深色斑点。在右边，一个浅色的木碗里装着更多的金橘，它们的皮肤上有天然的斑点。
(1) 在Alignment维度上，我认为右图完全符合要求，左图有部分语义未很好生成，如浅绿色的茎，深色斑点等。（与模型打分一致） (2) 在Coherence维度上，我个人认为左图AI感相比右图严重。（与模型打分一致） (3) 在Style维度上（独立于prompt的偏好分数），我个人认为右图更好，但是模型给左图更高分，这个case上感觉确实没打准。（与模型打分不一致）

2. 对于第二组样例：

prompt：黑色长盘上整齐摆放着新鲜羔羊羊肉火锅片，肉质红润带白脂肪，背景可见油瓶、餐具容器及叉子，整体置于深色台面。
(1) 在Alignment维度上，我认为左图除了 黑色长盘 未生成正确，其他都符合要求，右图有部分语义相比左图未很好生成，如整齐摆放，餐具容器，背景可见油瓶（图上生成的是酒瓶）。（与模型打分一致） (2) 在Coherence维度上，我个人认为右图AI感相比左图严重，因为右图右上角出现了混乱的内容。（与模型打分一致） (3) 在Style维度上（独立于prompt的偏好分数），我个人认为两张图差不多，但左图在布局构图上更好。（与模型打分一致）

我还测试了其他的一些case，总体感觉就是前两个维度准确率挺高的，但在Style维度上比较低，经常那种很油腻的图给更高的分数

这种情况可以通过对维度进行加权来得到相对准确的overall分数，如Alignment和Coherence的分数权重设为0.4，Style上为0.2～

[huan085128]

好的，感谢你的建议

[huan085128]

@CodeGoat24 你好，我还想问下，如果想基于你们的模型比如qwen3-vl 4B / 8B 非Thinking版本的做微调的话，方便给个训练时长预估吗？比如你们在多少的GPU上迭代了多少个step，batch size为多少

[CodeGoat24]

感谢关注～

试试

global batch: 128
lr: 2.5e-6
epoch: 3~5