新智元报道   编辑：Aeneas 英智 【新智元导读】Hugging Face发布了「超大规模实战手册」，在512个GPU上进行超过4000个scaling实验。联创兼CEO Clement对此感到十分自豪。 最近，Hugging Face发布了一个「超大规模训练手册」，教我们如何在GPU集群上训练LLM。 这项震撼的研究，在512个GPU上做了超过4000个Scaling实验，并测量了吞吐量（标记的大小）和GPU利用率（标记的颜色）。 HuggingFace联创兼CEO Clement表示，自己的理想，就是能生活在这样一个世界：所有的公司和组织无论大小，无论是否富有，都能训练自己的AI。 未来的世界，就应该是这个样子。 因此，当发布这份大规模训练手册时，他感到十分自豪。 网友们纷纷表示，这就是自己爱Hugging Face的原因。 未来我们应该拥有的就是民主化的AI和去中心化数据，让全球大脑共同工作。从此，AI不再是为1%的人服务，而是让99%的人参与其中！ 本文将从基础入手，介绍如何将LLM训练规模从一块GPU扩展到数十块、数百块甚至数千块GPU。 随着训练集群规模不断扩大，数据并行、张量并行、流水线并行、上下文并行，以及ZeRO和内核融合等技术相继被提出，来确保GPU的高效利用。…

  新智元报道   编辑：编辑部 HYs 【新智元导读】Hinton和马斯克在线开启battle。AI教父怒斥马斯克正在毁掉美国科学界，英国皇家学会应该将其逐出。马斯克毫不示弱地表示，历史自有公证。这颗重磅炸弹瞬间引爆舆论。 AI教父Hinton和马斯克吵起来了！今天，Hinton公开叫板，「马斯克应该被英国皇家学会除名，最关键原因是他正在对美国科学机构造成巨大损害」。这番言论如同一枚重磅炸弹，瞬间点燃了舆论战场。面对毫不留情的指控，马斯克隔空回怼： 只有懦弱自卑的蠢货才会在意那些奖项和头衔。历史才是真正的评判者，以前是，将来也是。 你上面的评论完全是草率无知、刻薄且不实的。 话虽如此，你认为具体哪些事情需要纠正？我确实会犯错，但我会尽力迅速改正。 看来，马斯克也并不理解Hinton所言。一方面，他根本不在乎什么皇家学会的头衔；另一方面，有建议的话直接提出来就可以了，人非圣贤孰能无过。向来喜欢抨击Hinton的LSTM之父再次翻出旧账，「Hinton应该因剽窃和学术归功不当，而被剥夺他所获得的奖项。」 长篇诉状：https://people.idsia.ch/~juergen/ai-priority-disputes.html实际上，这场争论并不只是Hinton和马斯克之间的口水战。早在2月，包括诺奖得主在内的1300多名科学家签署了一封联名信，表达了对马斯克违反皇家学会行为准则的担忧。截至目前，已经有3410人签署。2018年，马斯克因其技术创新，被评为英国皇家学会Fellow。而现在，许多科学家认为，马斯克作为一个公众人物，严重损害了科学诚信，损害了美国科学界研究自由。甚至，他的一些行为破坏了协会的价值观和声誉。爱丁堡大学生物学教授Andrew Millar认为，皇家学会也并没有及时对马斯克散播的虚假信息及其对基于证据的政策和科学建议的攻击采取相应措施。随着抗议声音越来越大，为此，皇会决定在3月3日召开一场「研究员行为」讨论会议。也就是今天，这场讨论将会给出对马斯克的最终判决。这一切原因，是马斯克新官上任一手造成的。 马斯克，美国科学毁灭者？ 自马斯克掌舵政府效率部门（DOGE）以来，对联帮政府开支削减几乎毫不留情。这场席卷整个联邦政府的「削减风暴」，让无数人瞠目结舌。他曾公开称，在高达6.75万亿美元的开支中，至少有2万亿被浪费，并下定决心要将其承诺兑现。上任仅两周，他的团队便以惊人的速度展开行动，从取消数百个联邦合同，到终止多样性、公平与包容（DEI）相关项目，再到大规模裁撤冗余岗位，马斯克无情操刀让自己成为众矢之的。根据DOGE官方数据，自选举以来，他们已节省约550亿美元。DOGE甚至推出了「收据墙」网站，详细列出了每项节省的项目和金额，向公众公开。马斯克在X上得意地表示，我们正在以每天40亿美元的速度削减开支。谨慎乐观地说，2026财年将减少1万亿赤字！这场激进的改革，早已掀起了美国社会的不满，甚至有的人说美国科学界的寒冬悄然已至。目前，许多美国高校因联邦资金的不确定性，纷纷减少或暂停博士生招生。前段时间，宾夕法尼亚大学一些准研究生先是收到了非正式的录取通知，而后却被无情撤回。甚至，斯坦福也官宣了停止部分员工的招聘。 经费不够，高校被推向深渊？ 作为全球最大的生物医学研究公共资助机构，美国国立卫生研究院（NIH）成为了这场风波的核心。在过去一个月里，由于特朗普政府采取了削减联邦开支的措施，NIH研究资助资金基本处于冻结状态。尽管联邦法官已下令解冻资金，但冻结仍在持续。NIH年度预算达470亿美元。NIH试图大幅削减支付给研究机构的「间接成本」费率，从40%-70%骤降至15%。这些资金是支撑实验室运转、支付工作场所租金、维持研究生助教岗位的命脉。据《纽约时报》计算，如果间接成本费率削减政策得以实施，获得NIH资助金额最高的研究机构，像匹兹堡大学，可能会损失超过1亿美元。密歇根大学安娜堡分校科学社会学家Elizabeth Popp Berman表示，即使是那些拥有大量捐赠资金的高校，也难以应对这些削减。虽然高校联盟和22个州的总检察长已通过法律手段，暂时阻止了该政策生效，但由此带来的不确定性已让高校和科研人员人心惶惶。 由于联邦资金的不确定性，宾夕法尼亚大学已撤销对博士生的非正式录取通知研究生招收被迫缩减这种资金困境给准研究生们带来了巨大的打击。本应凭借优秀成绩获得录取的学生，却因资金问题被拒之门外。一位申请亚利桑那大学物理专业博士的学生，尽管得到了学校对其学术能力的认可，却依然收到了拒信，信中写道：我们对你出色的学术成绩印象深刻，但近期美国联邦资金政策的不确定性严重影响了招生流程。尽管你在申请者中排名靠前，但目前我们无法向你发出录取通知。该学生的沮丧之情不言而喻。庆幸的是，他被其他项目录取了。但并非所有学生都如此幸运。另一位申请范德堡大学社会科学项目的学生，先是收到录取通知，而后又被告知招生暂停。这种过山车般的经历让他对未来的学术道路充满了迷茫，甚至开始怀疑是否还要继续从事研究工作。据马里兰大学学生报纸报道，由于特朗普签署的一项冻结联邦招聘的行政命令，NIH的一个暑期实习项目被取消，让已被录取的学生们陷入了慌乱。NIH的本科后项目也被搁置，该项目为约1600名完成本科学业的研究人员提供为期一到两年的奖学金。一位要求匿名的NIH首席研究员表示，「这些处于培训阶段的科研人员是科研事业的核心力量，我实验室里一半以上的人员都是本科后项目的参与者」。然而，政府的政策却让他们的科研之路充满了不确定性。…

  新智元报道   编辑：犀牛 【新智元导读】谷歌Gemini 2.0不仅能深度剖析学术论文，还能预测职业轨迹？Jeff Dean和Yi Tay等AI大佬亲测，其精准的论文评价和职业规划预测令人惊叹。Gemini究竟是巧合还是AI进化的又一力证？它将如何改变学术研究的未来？ 如果让人工智能来点评博士论文，还顺手预测一下作者将来的职业发展。会是什么样子？ 最近，谷歌首席科学家、Gemini负责人Jeff Dean就玩了这么一出，他把自己的博士论文交给了最新的Gemini 2.0。 结果，这位AI「批评家」只花了26秒，就给出了一份相当深刻的剖析报告。 Jeff Dean用最新的Gemini 2.0 Flash Thinking Experimental 01-21分析了自己的博士论文《面向对象语言的完整程序优化》——一篇长达134,540个Token的大作。…