告别“炼丹玄学”：上海AILab推出首个大模型数据竞技场
应用介绍
而OpenDataArena，正是一个为数据价值而生的“竞技场”，致力于将数据质量的评估从“玄学”变为“科学”。
通过一套训评一体化的开源工具，让不同数据集在同等条件下公平“竞技”，用模型效果作为衡量数据价值的最终标准。
1、对数据质量的评估与筛选：帮助模型训练者数据研究者快速识别并筛选出高质量数据集，摆脱盲目试错，高效赋能模型训练与应用。
2、对数据生成的指导与优化：数据合成的研究者提供多维度的评分数据和工具，助力他们寻找高价值的“种子数据”，为生成更优质的合成数据提供指导。
3、对数据价值的深入洞察：赋能学术研究人员探索数据特征与模型效果的内在关联，为数据选择、数据生成等前沿研究提供坚实的数据支持和客观的评估依据。
平台目前已覆盖4+领域、20+基准测试、20+数据评分维度，处理了100+数据集，超过20M+数据样本，并完成了600+次模型训练、10K+次模型评估，这些指标都在不断增长。
平台覆盖了来自通用、数学、代码、科学等多个领域的后训练数据集。这些数据来自于HuggingFace并且有一定的下载和关注度，不仅具有代表性，而且具备时效性，确保了评测的现实意义。
平台采用了社区中最常用、最具代表性的Llama3.1Qwen 2.57B版本作为基准模型，它们代表了真实的学术和工业应用场景，同时尽可能反映了最多场景中实际使用的模型大小的数据性能。
平台采用标准化训练配置，训练环节采用广受认可的LLaMA-Factory框架，并且严格采用最常见的训练参数。
测试环节使用OpenCompass进行全面评估，在测试环节的参数设置上，团队进行了大量预实验，确保推理模板和评估器等细节都经过了精心的优化，排除外部干扰，让测试结果能更公平、公正地反映训练数据集的线、评测集全面覆盖
平台选择了通用、数学、代码、长链推理等多维度基准测试集，力求全面、客观地反映单领域数据质量，以及混合领域的数据综合质量。
平台希望能够帮助模型训练者和数据研究者快速识别并挑选高质量数据集，降低试错成本，赋能模型训练与应用。
除了通过训练模型得到下游任务的表现来直接反应数据的质量之外，OpenDataArena还通过多维度的客观评分工具，来对数据本身进行细致的“体检”，这些客观评分指标得到了学界和业界的广泛认可。
平台的评分工具整合了多种维度评估方法，包括基于模型的评估（Model-based Evaluation，如IFD）、大模型作为评委（LLM-as-a-Judge，如准确性、复杂度）和启发式方法（Heuristic，如回复响应长度）。
