赵学亮 投稿量子位 | 公众号 QbitAI 大模型架构研究进展太快,数据却快要不够用了,其中问题数据又尤其缺乏。 为此,港大和蚂蚁的研究人员反向利用思维链,提出了PromptCoT方法,并基于Llama3.1-8B训练了一个问题生成模型。 实验结果表明,合成的问题难度较开源数据和已有算法有显著提升,接近了AIME水平。 研究团队利用问题生成模型构造了400k SFT数据。 基于这份数据,团队训练 ...