Skip to content

[Bug] 精度测评livecodebench数据集，最终精度结果打屏中出现很多冗余打屏内容 #507

Open
Open
[Bug] 精度测评livecodebench数据集，最终精度结果打屏中出现很多冗余打屏内容#507
Labels
bugSomething isn't workingcontent_check_passedissue content check passed

Description

@luxixiang2026
luxixiang2026
opened on Sep 1, 2026

操作系统及版本

ubuntu24.04

安装工具的python环境

在anaconda/miniconda创建的python虚拟环境

python版本

3.10

AISBench工具版本

3.0.20260630

AISBench执行命令

ais_bench --models vllm_api_general_chat --datasets livecodebench_0_shot_chat_v4_v5 --debug

模型配置文件或自定义配置文件内容

models = [
dict(
attr="service",
type=VLLMCustomAPIChat,
abbr="vllm-api-general-chat",
path="/mnt/share/weights/Qwen3.5-397B-A17B-w8a8-org",
model="qwen3.5",
stream=False,
request_rate = 0,
use_timestamp=False,
retry=2,
api_key="",
host_ip = "127.0.0.1",
host_port = 8004,
url="",
max_out_len = 65536,
batch_size = 32,
trust_remote_code = False,
generation_kwargs=dict(
temperature = 0.6,
ignore_eos = False,
),
pred_postprocessor=dict(type=extract_non_reasoning_content),
)
]

预期行为

打屏结果中无冗余打屏内容显示。

实际行为

实际打屏结果中出现很多冗余打屏
True, True, True]], 202: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, False]], 203: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 204: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, False]], 205: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 206: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 207: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 208: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 209: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 210: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 211: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 212: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 213: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 214: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 215: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 216: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 217: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 218: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 219: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 220: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 221: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 222: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 223: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 224: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 225: [[True, True, True, True, True, True, True, False]], 226: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 227: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 228: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 229: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 230: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 231: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 232: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 233: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 234: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 235: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 236: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 237: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 238: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 239: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 240: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 241: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 242: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 243: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 244: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 245: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 246: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 247: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 248: [[True, True, True, False]], 249: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 250: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 251: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 252: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 253: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 254: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 255: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 256: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 257: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 258: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 259: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 260: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 261: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 262: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 263: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 264: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 265: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 266: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]], 267: [[True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True]]})], 'pass@1': 89.17910447761194, 'detail': [{'pass@1': {0: 0.0, 1: 100.0, 2: 100.0, 3: 100.0, 4: 100.0, 5: 100.0, 6: 0.0, 7: 100.0, 8: 100.0, 9: 100.0, 10: 100.0, 11: 100.0, 12: 100.0, 13: 100.0, 14: 100.0, 15: 100.0, 16: 100.0, 17: 100.0, 18: 100.0, 19: 100.0, 20: 100.0, 21: 100.0, 22: 100.0, 23: 100.0, 24: 100.0, 25: 100.0, 26: 100.0, 27: 100.0, 28: 0.0, 29: 100.0, 30: 0.0, 31: 100.0, 32: 100.0, 33: 0.0, 34: 100.0, 35: 100.0, 36: 100.0, 37: 100.0, 38: 100.0, 39: 100.0, 40: 100.0, 41: 100.0, 42: 100.0, 43: 100.0, 44: 0.0, 45: 100.0, 46: 100.0, 47: 100.0, 48: 100.0, 49: 100.0, 50: 0.0, 51: 100.0, 52: 100.0, 53: 0.0, 54: 0.0, 55: 100.0, 56: 100.0, 57: 100.0, 58: 0.0, 59: 100.0, 60: 100.0, 61: 0.0, 62: 100.0, 63: 100.0, 64: 0.0, 65: 100.0, 66: 100.0, 67: 100.0, 68: 100.0, 69: 100.0, 70: 100.0, 71: 100.0, 72: 100.0, 73: 100.0, 74: 100.0, 75: 100.0, 76: 100.0, 77: 100.0, 78: 100.0, 79: 100.0, 80: 100.0, 81: 100.0, 82: 100.0, 83: 100.0, 84: 100.0, 85: 100.0, 86: 100.0, 87: 100.0, 88: 100.0, 89: 100.0, 90: 100.0, 91: 100.0, 92: 100.0, 93: 100.0, 94: 100.0, 95: 100.0, 96: 100.0, 97: 100.0, 98: 100.0, 99: 100.0, 100: 100.0, 101: 100.0, 102: 100.0, 103: 100.0, 104: 100.0, 105: 100.0, 106: 100.0, 107: 100.0, 108: 100.0, 109: 100.0, 110: 100.0, 111: 100.0, 112: 100.0, 113: 100.0, 114: 100.0, 115: 100.0, 116: 100.0, 117: 100.0, 118: 100.0, 119: 0.0, 120: 100.0, 121: 100.0, 122: 100.0, 123: 100.0, 124: 100.0, 125: 100.0, 126: 100.0, 127: 100.0, 128: 100.0, 129: 100.0, 130: 100.0, 131: 100.0, 132: 100.0, 133: 0.0, 134: 100.0, 135: 100.0, 136: 100.0, 137: 0.0, 138: 100.0, 139: 100.0, 140: 0.0, 141: 100.0, 142: 100.0, 143: 100.0, 144: 100.0, 145: 100.0, 146: 100.0, 147: 100.0, 148: 100.0, 149: 100.0, 150: 100.0, 151: 100.0, 152: 100.0, 153: 100.0, 154: 100.0, 155: 100.0, 156: 100.0, 157: 100.0, 158: 100.0, 159: 0.0, 160: 100.0, 161: 100.0, 162: 100.0, 163: 100.0, 164: 100.0, 165: 100.0, 166: 100.0, 167: 100.0, 168: 100.0, 169: 100.0, 170: 100.0, 171: 100.0, 172: 100.0, 173: 100.0, 174: 100.0, 175: 100.0, 176: 100.0, 177: 100.0, 178: 100.0, 179: 100.0, 180: 100.0, 181: 100.0, 182: 100.0, 183: 100.0, 184: 100.0, 185: 100.0, 186: 0.0, 187: 0.0, 188: 0.0, 189: 100.0, 190: 0.0, 191: 100.0, 192: 100.0, 193: 0.0, 194: 100.0, 195: 0.0, 196: 100.0, 197: 100.0, 198: 0.0, 199: 100.0, 200: 0.0, 201: 100.0, 202: 0.0, 203: 100.0, 204: 0.0, 205: 100.0, 206: 100.0, 207: 100.0, 208: 100.0, 209: 100.0, 210: 100.0, 211: 100.0, 212: 100.0, 213: 100.0, 214: 100.0, 215: 100.0, 216: 100.0, 217: 100.0, 218: 100.0, 219: 100.0, 220: 100.0, 221: 100.0, 222: 100.0, 223: 100.0, 224: 100.0, 225: 0.0, 226: 100.0, 227: 100.0, 228: 100.0, 229: 100.0, 230: 100.0, 231: 100.0, 232: 100.0, 233: 100.0, 234: 100.0, 235: 100.0, 236: 100.0, 237: 100.0, 238: 100.0, 239: 100.0, 240: 100.0, 241: 100.0, 242: 100.0, 243: 100.0, 244: 100.0, 245: 100.0, 246: 100.0, 247: 100.0, 248: 0.0, 249: 100.0, 250: 100.0, 251: 100.0, 252: 100.0, 253: 100.0, 254: 100.0, 255: 100.0, 256: 100.0, 257: 100.0, 258: 100.0, 259: 100.0, 260: 100.0, 261: 100.0, 262: 100.0, 263: 100.0, 264: 100.0, 265: 100.0, 266: 100.0, 267: 100.0}}]}
[2026-08-31 06:23:26,250] [ais_bench] [�[32mINFO�[0m] Evaluation task time elapsed: 1039.86s
[2026-08-31 06:23:28,702] [ais_bench] [�[32mINFO�[0m] Evaluation tasks completed.
[2026-08-31 06:23:28,705] [ais_bench] [�[32mINFO�[0m] Summarizing evaluation results...
[2026-08-31 06:23:28,720] [ais_bench] [�[32mINFO�[0m] write summary to /usr/local/python3.11.10/lib/python3.11/site-packages/outputs/default/20260831_123228/summary/summary_20260831_123228.txt
[2026-08-31 06:23:28,720] [ais_bench] [�[32mINFO�[0m] write csv to /usr/local/python3.11.10/lib/python3.11/site-packages/outputs/default/20260831_123228/summary/summary_20260831_123228.csv
[2026-08-31 06:23:28,720] [ais_bench] [�[32mINFO�[0m] write markdown summary to /usr/local/python3.11.10/lib/python3.11/site-packages/outputs/default/20260831_123228/summary/summary_20260831_123228.md
dataset version metric mode vllm-api-general-chat

lcb_code_generation_v4_v5 464b38 pass@1 gen 89.18

The markdown format results is as below:

dataset version metric mode vllm-api-general-chat
lcb_code_generation_v4_v5 464b38 pass@1 gen 89.18

前置检查

  • 我已读懂主页文档的快速入门，无法解决问题
  • 我已检索过FAQ，无重复问题
  • 我已搜索过现有Issue，无重复问题
  • 我已更新到最新版本，问题仍存在

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    bugSomething isn't workingcontent_check_passedissue content check passed

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions