智东西12月25日消息，据智源研究院微信公众号今日发文，智源开源了一个专注于算法的代码生成数据集TACO（Topics in Algorithmic COde generation dataset），旨在为代码生成模型领域提供一个更具挑战性的训练数据集与评测基准。该数据集包含难度更大、更接近真实编程场景的编程竞赛题目，强调提升或评测模型在实际应用场景中对问题的理解和推理（Reasoning）能力，而不仅仅是实现既定的函数功能。据悉，TACO包括训练集（25443道题目）和测试集（1000道题目），每个题目都尽可能匹配多样化的解题答案，答案规模高达155万条，每个题目均包含任务主题、算法、技能及难度等细粒度标签，为代码生成模型的训练与评测更精确的参考。经实验，当前流行的代码生成模型在TACO评测中与GPT-4存在显著差异，表明这一领域仍有巨大的提升空间。

论文地址：

arxiv.org/abs/2312.14852

智源开放数据仓库：

data.baai.ac.cn/details/BAAI-TACO