[需求] 希望能够支持现网流量会放的方式验证agent场景推理的处理能力

[chenghaitao1987]

问题/痛点描述

当前工具不支持，下面的代码可以按照session发送，带functioncall的请求，普通会话和functioncall静态设置max token。
icl_multiturn_fc_inferencer.py
vllm_api_stream_chat_multiturn_fc.py
multiturn_fc_gen.py
multiturn_fc.py

上面的工具没有解决的问题
1、当前没有办法模拟用户数和并发数的比例，这个会kvcache有压力
2、真实对话场景的长尾问题不太好解决

建议方案

希望对此场景有规划方案，或者解决上述的痛点

备选方案

No response

预期价值

用户对agent场景性能评测有一个基准

参与意向

• 我愿意参与此功能的开发或测试

[github-actions]

🌟欢迎给AISBench benchmark测评工具提新特性诉求，请确保在issue中描述清晰，以便仓库维护者能准确理解您的诉求。对于新特性诉求仓库维护者一般会在3天内给您答复。

[github-actions]

🤖 基于AI机器人的issue内容完整性检查结果:

问题内容检查结果

检查状态

[FAIL]

详细检查

• 问题/痛点描述: [COMPLETE]
• 建议方案: [INCOMPLETE]
• 预期价值: [COMPLETE]

改进建议

• 建议方案: 当前的建议方案过于笼统，仅表达了希望有规划或解决痛点的意愿。为了使建议方案更具操作性，请补充具体的实现思路、技术方向或初步的解决方案构想，例如：
  • 可以考虑引入哪些工具或框架来模拟用户数和并发数？
  • 对于kvcache压力问题，是否有初步的优化方向？
  • 如何更好地模拟真实对话场景的长尾问题？
  • 是否有关于流量回放的具体技术方案或思路？

补充说明

问题描述和预期价值部分内容清晰且完整。建议方案部分需要进一步细化，提供更具体的

👉 如果想重新检查，在评论区@issue_checker即可。

【强烈推荐❤️‍🔥】确保issue描述完整后，可以试着将issue交给回答，deepwiki包含了和工具相关的所有知识库