可能与本仓库无关,单纯是想找人讨论一下。
我在复现search-r1的时候,用了PeterJinGo/wiki-18-corpus的官方数据集,结果里面的数据长这样:
[[{'id': '13992099', 'score': 0.8086704015731812, 'contents': '"Kyōiku kanji"\n胃 留 略 病 痛 登 白 的 皇 泉 皮 皿 盛 盟 目 具 眼 矢 知 短 石 砂 破 磁 示 祭 禁 利 私 和 委 季 科 秋 秒 移 税 程 穴 究 空 立 童 竹 笑 第 笛 等 答 策 筋 算 管 箱 米 料 粉 精 糖 素 置 罪 羊 美 差 着 群 羽 翌 老 考 耕 耳 取 有 肉 服 肥 背 肺 胸 期 朝 腹 臣 自 息 至 舌 航 船 良 色 花 苦 若 英 芽 草 茶'}, {'id': '1012440', 'score': 0.8076276779174805, 'contents': '"Kyōiku kanji"\n卵 承 垂 刷 重 省 看 勉 七 乳 才 予 事 二 元 亡 六 主 市 交 忘 夜 育 京 卒 商 率 就 人 化 今 仁 付 代 仕 他 令 以 合 全 任 休 件 仲 作 何 位 住 余 低 似 命 使 念 例 供 信 保 便 値 修 借 候 倍 俳 俵 健 停 働 像 先 入 八 分 公 共 弟 並 典 前 益 善 尊 同 周 次 兆 冷 弱 刀 切 別 判 制 券 刻 副 割 力 加'}, {'id': '1012441', 'score': 0.8016097545623779, 'contents': '"Kyōiku kanji"\n助 努 勇 勤 句 北 疑 十 古 孝 直 南 真 裁 博 上 反 灰 厚 原 台 能 友 収 口 司 右 兄 吸 告 君 味 呼 品 唱 器 四 回 因 困 固 土 去 地 在 寺 均 志 坂 幸 型 城 基 域 喜 境 士 冬 各 夕 外 名 多 大 太 奏 女 好 始 妻 姉 妹 姿 子 存 安 字 守 宅 宇 完 定 官 宙 宗 室 客 宣 家 害 案 容 宮 寄 密 宿 寒 富 察 寸'}]]
想问下有没有复现跟我遇到同样情况的,它这个论文作者提供的官方数据就是这么脏吗?我准备转用FlashRAG仓库里的wiki18了,刚刚确认里面是干净的。
可能与本仓库无关,单纯是想找人讨论一下。
我在复现search-r1的时候,用了PeterJinGo/wiki-18-corpus的官方数据集,结果里面的数据长这样:
想问下有没有复现跟我遇到同样情况的,它这个论文作者提供的官方数据就是这么脏吗?我准备转用FlashRAG仓库里的wiki18了,刚刚确认里面是干净的。