据统计,阿里通义团队已开源大语言模型千问Qwen及视觉生成模型万相Wan两大系列共计200余款模型,覆盖从0.5B到110B等最全尺寸,屡次斩获Chatbot Arena、司南OpenCompass等权威榜单「全球开源冠军」、「国产模型冠军」。目前,通义千问Qwen的衍生模型数已超10万个,超越美国Meta公司的Llama模型系列,成为全球第一开源大模型。
赵学亮 投稿量子位 | 公众号 QbitAI 大模型架构研究进展太快,数据却快要不够用了,其中问题数据又尤其缺乏。 为此,港大和蚂蚁的研究人员反向利用思维链,提出了PromptCoT方法,并基于Llama3.1-8B训练了一个问题生成模型。 实验结果表明,合成的问题难度较开源数据和已有算法有显著提升,接近了AIME水平。 研究团队利用问题生成模型构造了400k SFT数据。 基于这份数据,团队训练 ...