Scaling Law 由 OpenAI 团队于 2020 年正式提出，并在其论文《神经语言模型的扩展定律》（Scaling Laws for Neural Language Models）中进行了详细阐述。Scaling Law ...

研究人员发现随着模型尺寸的增大，DiLoCo 会呈现出可预测的稳健扩展。如果调整得当，DiLoCo 的模型规模扩展性优于数据并行训练方法，即使在小模型规模下 DiLoCo 也能胜过数据并行训练方法。

在过去这一年间，RL从一度沉沦的位置，重新走回了AI研究的闪光灯中心。2024年下半年，OpenAI率先发布了它在LLM基础上，用RL实现“深度思考”的成果——o1，设定了新的终点线。今年初， DeepSeek ...

Anthropic首席执行官Dario Amodei（他不喜欢A.G.I.这个术语，但同意一般原则）上个月告诉我，他相信我们距离拥有"大量比人类在几乎所有方面都更聪明的A.I.系统"只有一两年时间。

近年来，强人工智能（AGI）近在咫尺的呼声日益高涨，尤其是在AI系统性能显著提升、应用场景迅速拓展的背景下，各大科技公司和研究者对于这一前沿技术的探索愈发深入。随着技术的突破和应用的普及，人类是否能充分做好迎接AGI时代的准备，已成为一个亟待关注的重要问题。纽约时报专栏作家Kevin ...

本书系世界冠军辜梓豪九段、全国女子冠军唐嘉雯六段、业余天王胡煜清8段等联袂推荐，通过简洁明快的技术分析和轻松活泼的故事描述，从全新的角度带围棋爱好者走进吴清源大师围棋世界。

在加入 UCLA 之前，他曾在 FAIR 和 Meta 的核心机器学习团队担任研究科学家。此前他在加州大学伯克利分校度过了博士后生涯（导师为 Pieter Abbeel），在斯坦福大学完成了博士学位（导师为 Stefano ...