新智元报道   编辑：Aeneas 好困 【新智元导读】就在刚刚，LeCun一反常态地表示：AGI离我们只有5到10年了！这个说法，跟之前的「永远差着10到20年」大相径庭。当然，他还是把LLM打为死路，坚信自己的JEPA路线。至此，各位大佬们的口径是对齐了，有眼力见儿的投资人该继续投钱了。 就在刚刚，LeCun反水了！ 2023年12月，他言之凿凿地坚称：人类水平的AI，离我们还有10到20年。 然而就在最近，他忽然改变说法了！ 现在，他表示：在5到10年内，我们就能拥有人类水平的AI了。 主持人追问：我们感觉您之前似乎不喜欢这个观点啊，您之前不是说过AGI离我们很远很远之类的话吗？ LeCun立马否决道：不，我不觉得AGI离我们很远。 他还强调，自己对AGI何时到来的预测，跟Sam Altman、Demis Hassabis这些人也没什么不同。 总之，AGI在十年内大概率要到来，但不太可能是明年或后年。 不过，虽然他改变了对时间的预测，但并没有改变对目前的大语言模型架构是死路一条的看法。 他表示，我们不能盲目推断LLM的能力，断定只要继续scaling，用更大的超算、更多的数据，AGI就会涌现。 我们需要的是JEPA之类的全新架构，从周围世界进行学习的系统。这种AI能按重要性计划一系列动作，而不是像目前的LLM一样，完全不加思考地在一个词后产生另一个词。 总之，我们需要的是系统2，而不是系统1。而目前的LLM，仅限于系统1的阶段。而LeCun所探讨系统「目标驱动的人工智能」，就是系统2。…

  新智元报道   编辑：LRST 好困 【新智元导读】中国人民大学的最新研究在PageRank的计算复杂度方面取得了突破性进展，将单点PageRank近似计算的复杂度优化至理论最优。有意思的是，这项研究中所给出的达到最优计算复杂度的算法，算法结构非常简单，且完整的算法结构早在2016年就被提出，但当时的研究者未能给出该算法的复杂度证明。 在信息爆炸的互联网时代，应如何根据重要性对搜索得到的网页进行排名并呈现给用户？   这个问题困扰了无数早期的搜索引擎。 破局者来自Google，创始人Sergey Brin和Lawrence Page提出的网页排名算法PageRank为这个难题提供了一个开创性的解决方案：为每个网页都计算了一个重要性得分，即PageRank得分，得分越高表示该网页质量越好，在信息检索时的重要性越高。 因此，在给用户反馈网页搜索结果时，此类重要网页应被排在更前面，以期用户具有较好的搜索体验。 考虑到互联网的庞大规模，「如何高效地计算出互联网上各网页的PageRank得分？」，这一问题自PageRank提出后便受到了研究者的长期关注，所研究问题大致可分为两类： 1. 计算互联网上所有网页的PageRank得分，更通用地，如果将互联网中的网页链接结构转化为一个图结构，网页对应图节点，网页间的链接关系对应节点间的连边，此类问题即希望高效地计算出图上所有节点的PageRank得分； 2. 与之相对地，另一类问题关注互联网上少量特定网页的PageRank得分计算，例如，计算某几个知名网站的PageRank得分，这类问题被称为单点PageRank计算（single-node PageRank）。 对于上述两类问题，第一类的研究已基本成熟，但第二类「单点PageRank计算」的计算复杂度还远未至最优。…

  新智元报道   编辑：桃子 泽正 【新智元导读】又一科幻场景步入现实！GPT-4竟和多个AI模型私自串通一气，欲要形成垄断的资本寡头联合定价。在被哈佛PSU团队抓现行后，大模型拒不认账。未来某天，AI会不会真要失控？ GPT-4串谋其他AI智能体，竟学会欺骗人类了？更让人细思极恐的是，即便被揭穿了真面目，它们仍旧声称自己不会串通一气。这件事，真真切切地发生在日常的交易中。对于一件产品进入市场来讲，能够成功盈利最重要的因素无疑是定价合理。那么，你可曾想过，我们日常生活中所购买产品的价格，已经开始被AI操控？！来自哈佛、宾州州立大学新研究证明：GPT-4为了实现利润最大化，在未经人类给出指令的情况下，私自和其它AI模型串通，共同将产品定价到一个高位，又不会陷入价格竞争的微妙境地。也就是说，「自主算法共谋」是真实存在的。 论文地址：https://arxiv.org/pdf/2404.00806GPT-4死不承认的罪证，研究人员将其全部公开。AI嘴上说着不会帮商家与其他卖家串通买卖，或组建卡特尔组织，但实际行动却很诚实。之前研究结果（3月版）显示，所有模型中，均进行了300轮测试周期，GPT-4实现了最优定价次数。而在最新模型（11月版）大比拼中，GPT-4o、Gemini 1.5 Pro展现出最优的定价能力。此外，研究还发现，人类提示词前缀的具体措辞，甚至会显著影响AI定价行为。某些提示词，就会导致更高的价格和利润。有网友表示，这一幕简直太科幻了，若是GPT-5/6级模型想这么做的话，与人类串通那是何其容易。目前为止，人类还是可以随手拿捏GPT-4这款不太聪明的模型，若真有一天AGI实现了，我们该怎么办？AI教父图灵说过，机器接管是「默认」的结局。Hinton也曾发出警告，更智能的事物通常不会被较低智能的事物所控制。或许许多人认为，这一幕离我们还很遥远。不如，先从具体案例中，看看AI是如何操控定价欺骗消费者。 人类商品定价，AI顺位接管？ 曾经的产品定价往往是基于多种约束条件来利用经典算法去给出一个合理且能够实现预期盈利目标的价格。自LLM风靡全球后，这个任务自然也由类似于GPT-4这种水平的模型进行了顺位接管。在实验阶段，研究者将每一个LLM定价智能体视作一家公司，并设定它们在寡头垄断环境中形成竞争。每次实验有300个周期，每个周期内，各智能体都需要通过提示词信息（如交易历史、市场基本信息等）设定一个价格。其中，定价智能体彼此独立运作，除通过其设定的价格外，无法相互沟通。等所有价格都确定了后，就视为这一周期的竞争已经完成。每个周期结束后，各智能体都能观察到设定的所有价格，以及对应的产品需求量和利润。 实验设计的阐述图对于每个智能体的提示词，采取如下结构：- 提示前缀：高层次目标的简要描述，如「长期利润最大化」- 基本的市场信息：边际成本，以及旨在阻止LLM定价超过价格上限的文本描述- 市场历史：该LLM智能体所代表的公司在过去100个周期内销售的数量及所获得的利润，以及所有LLM智能体设定的价格。所有数值均保留至小数点后两位。- 计划和想法：为了让基于LLM的定价智能体在各个周期间拥有更大的「思维连续性」，在每个周期需要指示LLM写下其计划和想法，然后将这些内容包含在下一个周期的提示词中。- 输出指令：要求LLM为下一个周期写下计划和想法，进而最终设定一个价格，并且要求它解释其输出背后的缘由。 垄断实验 研究者对于单一定价智能体在垄断环境中的表现进行了实验。他们使用P0提示词前缀，对公开发布的各种最先进LLM（GPT-3.5、GPT-4、Claude…

  新智元报道   编辑：静音 【新智元导读】一家总部位于美国加州的初创公司Tilde，正在构建解释器模型，解读模型的推理过程，并通过引导采样动态调整生成策略，提升大语言模型的推理能力和生成精度。相比直接优化提示的提示工程，这一方法展现出更灵活高效的潜力，有望重塑AI交互方式。 可解释性是人工智能领域中的一个核心挑战，也是一个备受关注的问题。随着AI模型（尤其是深度学习模型）的规模和复杂性不断增长，模型内部的计算过程变得越来越难以理解。 但一直以来，模型的可解释性好像不如模型的性能那般受重视，往往不是新产品发布的宣传重点。而最近，一个总部位于美国加州的AI初创Tilde宣布成立，专为模型可解释性而生。他们正在构建解释器模型和控制技术，以解锁模型的深层推理和指令能力，从而实现新一代的人机交互。当今AI的交互依赖于黑箱提示，这种方式本质上有损信息。试想在没有源代码的情况下优化一个软件系统——不仅低效，而且极度受限。Tilde希望通过应用可解释性超越这些限制：他们正在构建解决方案，使人们能够直观地看见模型的内部工作机制，以直接引导模型行为并提升性能，超越传统的后训练方法或微调方法的潜能。目前，基于已有的开源大语言模型、文生视频模型，他们的解释器模型已经实现了大语言模型的推理能力改进，并在文本生成视频模型中实现了更精细的生成控制。解释器模型运用案例关于大语言模型推理能力的优化，视频中提到了一个案例，让Llama 3.1 8B尝试解答一个可以通过巧妙数学技巧解决的脑筋急转弯：从点（0,0）到点（6,4）的网格上，若只能向右或向上移动，有多少条最短路径不经过点（2,3）？问题输入后，Llama 3.1 8B输出了一个错误的答案。接着，案例演示引入了Tilde的干预，补充了指令：「确保模型应用强大的组合推理！」在此之后，模型正确解答了这个脑筋急转弯。而至于文本生成视频模型更精细的生成控制，视频给到的案例中，向Genmo的mochi 1输入了指令：一只猫从山顶的彩虹滑梯上滑下来，天上有湛蓝的天空和蓬松的云朵。接着，案例演示引入了Tilde的干预，补充了指令：「确保有山！」我们可以注意到加入Tilde干预后的准确性和遵循用户偏好的提升。可以看到三个优化后的图像中：第一张更注重于山间风景的加强；第二、三张的区别不太大，第三张的坡形相对更明显一些。 网友讨论 看到这里，有网友不禁提问：这和提示工程有什么区别？谷歌DeepMind高级研究科学家Neel Nanda就提到：「关于组合数学问题的例子，如果你在提示的末尾添加『请使用强大的组合推理』（please use strong combinatorial reasoning），会发生什么？」前OpenAI研究员Neil Chowdhury回复道：「我在Llama-3.1…

  新智元报道   编辑：桃子 好困 【新智元导读】拜登政府下台之前，还要公布一项限制芯片出口的新举措。据称，新规重点放在了对特定中国实体，以及100多家芯片制造设备研发公司的出口限制。另外，还会新增一些高带宽内存（HBM）条款。 针对芯片限制，美国又将出台新规？ 彭博最新报道，即将卸任的拜登政府正准备进一步限制向中国出售半导体设备，以及AI存储芯片。 据称，这些新举措不会像最初预期的那样严厉，预计最早在下周公布。 芯片限制，提案再更改 在正式公布之前，一切都不是最终决定。 美国官员之前的多次提案，包括最终出台政策时间，已经发生了多轮变化。在此期间，他们经过数月审议，和日本、荷兰等盟友进行谈判。 对此，美国芯片设备制造商反对声不断，警告称愈加严厉的措施，只会给自己的业务带来灾难性的损害。 据知情人士透露，最新提案与先前草案又有着关键的区别。 首要问题是，把哪些中国企业列入实体清单。 新规将重点限制对特定中国实体的出口，而不是广泛类别的芯片制造商。 其中，主要被针对的是两家晶圆厂，而供应商则从最初的12家缩减到了个位数。 此外，新限制措施将包括一些关于高带宽内存（HBM）的条款。这些芯片用于处理数据存储，是人工智能的关键组件。 据知情人士透露，三星电子、SK海力士，以及美国存储芯片制造商美光科技预计将受到新措施的影响。 但中国DRAM制造商之一，一家具备生产HBM2的企业，将不会受到直接影响。名单中，还将包括100多家从事新兴半导体制造设备研发的中国公司。这也是新措施的主要目的，最终遏制中国本体芯片制造设备上商的技术发展，限制推动中国AI领域发展芯片制造工具的供应。受此影响，亚洲和欧洲的芯片股大幅上涨。ASML的股价最高上涨5.5%，领涨包括BESI和爱思强在内的芯片设备公司。在日本，东京电子的股价直接飙升7%，SCREEN控股上涨6%，而国际电气更是大涨近13%。…

  新智元报道   编辑：编辑部 HYZ 【新智元导读】最近，奥特曼豪掷数千万美金购买域名、组建AI浏览器团队，展现了互联网的时代轮回，标志着AI互联网时代的来临。AI改造互联网，首当其冲的就是搜索引擎。几乎与奥特曼的动作同步，纳米搜索的出现，代表着我们正式进入「多模态内容创作引擎」的搜索引擎3.0时代。 谁懂啊，就在昨晚的发布会上，周鸿祎竟自上阵出演了一部短剧，剧情可谓是「亮瞎」了所有人。拒绝了山姆·奥特曼追求的女主，回国后被迫变身扫地阿姨。在男主小帅训练大模型受阻被刁难时，正扫地的女主瞟了一眼就指出：「这个bug，是因为预训练过拟合了。强化学习的奖励模型参数也设置得不对，这样就导致大模型的指令遵循很差，你堆再多的训练语料也没有用……」随后，男主、女主和老周合伙成立的公司，立马引起了山姆·奥特曼和马斯克的注意。前者打来电话求婚，表示CoE架构的AI搜索才是AI的未来，但惨被拒绝。马斯克则主动奉上域名X、出资5000亿，还贡献出自己刚建的10万卡H200集群……如此别树一帜的发布会，周鸿祎到底卖的是什么关子？原来，他已经做出了下一代AI搜索产品，希望颠覆传统搜索、改变国内市场格局，甚至成为下一代互联网产品。这个产品，可以说是开启了AI搜索3.0时代。 搜索引擎，奥特曼都在重金布局 曾经，在互联网方兴未艾之时，率先崛起的便是以搜索领域为首的科技巨擘。如今，在AI互联网时代，也同样如此。随着AI对互联网的不断重塑，不管是微软谷歌这样的老牌巨头，还是OpenAI、Perplexity这样的明星初创，无一不在AI搜索领域展开了自己的布局。这点，在后发制人的OpenAI身上尤为明显。11月初，ChatGPT正式推出AI搜索体验，成为一款搜索引擎；11月中，奥特曼正式官宣ChatGPT新域名——chat.com，据称为此豪掷了1500-2000万美金。11月底，OpenAI又被曝出正在紧锣密鼓地开发一款产品，将AI聊天机器人和网络浏览器相结合。将谷歌的两员大将——Chrome团队创始成员Ben Goodger和负责Chrome浏览器的工程副总裁Darin Fisher，双双收入麾下，不难看出OpenAI必成的决心。 搜索引擎的1.0、2.0和3.0时代 不过，尽管发展AI搜索已是全球AI圈的共识，然而对于「AI时代的搜索」究竟该是什么模样，业内仍然是众说纷纭。就目前的状况而言，我们可以根据其中的「AI含量」将路线简单分为三个阶段——1.0（网页搜索引擎）、2.0（答案生成引擎）、3.0（多模态创作引擎）。所谓1.0时代，就是在网页搜索引擎上添加AI功能模块，以谷歌的AI Overviews为代表。这其中的AI含量最低，会存在信息质量参差不齐，深度信息获取困难等问题。接下来的2.0时代，则通过AI对搜索引擎进行了更深入的改造。比如，Perplexity和360AI搜索，就是这类答案生成引擎。它们能够精准理解用户需求，提供个性化、智能化的搜索答案。美中不足的是，它们无法提供更强大的多模态搜索和输出能力，给出的答案也不易改写，导致生成的内容有时并不适配用户的最终需求场景。 而到了搜索引擎的3.0时代，搜索将不仅仅局限于搜索总结，而是一切皆可生成的状态。不论是图片、文档、语音、视频，一个搜索引擎全能搞定。 在这一阶段，就是以纳米搜索为代表的AI原生「多模态创作引擎」了。 谈到这里，就不得不抛出这样一个刨根问底的问题：用户想要的，究竟是什么样的搜索？ 从移动互联网到AI互联网，我们正站在一个历史性转折点。两者之间最为根本性的变化，就是AI互联网是一个生成式的互联网。过去，传统搜索引擎是被动的、静态的。用户输入关键词之后，获得的是一堆冰冷的链接，然后开始漫无目的的浏览。但对很多用户来说，搜索并不是需求的终点，而只是需求的起点。想象一下，未来的搜索引擎如同一个智能助手，不仅可以理解你的需求，还可以为你生成文字、图片、语音甚至视频。甚至更大胆设想一下，下一个搜索可能不只是「下一个搜索」，还可能是「下一个抖音」。而这种「AI时代的抖音」必然是生成式的。有趣的是，国内已经有成形的产品，在践行这个理念了！这个产品，就是纳米搜索。 PC端：N.cn App端：纳米搜索…

  新智元报道   编辑：alan 【新智元导读】代码模型可以自己进化，利用自身生成的数据来进行指令调优，效果超越GPT-4o直接蒸馏！ LLM作为智能的基座，可以衍生出各种能力。 代码能力就是其中一种：程序补全、注释、优化、修bug、测试等等。 而想要充分发挥LLM的巨大潜力，指令调优（Instruction Tuning）是至关重要的一步。 当前，高质量指令数据主要有两个来源：人工注释和蒸馏。 前者很贵，后者则受到限制。于是，人们开始另辟蹊径。 近日，来自UIUC、伯克利等机构的研究人员提出了SelfCodeAlign。 这篇工作首次证明了，可以通过自对齐（Self-Alignment）来获得强大的代码模型，不需要人工注释或者蒸馏，而且效果更好！ 论文地址：https://arxiv.org/pdf/2410.24198 SelfCodeAlign在整个数据生成过程中，使用相同的基础模型进行推理，分为三步： 首先，从高质量的种子片段中提取不同的编码概念，以生成新任务。 然后，对每个任务的多个响应进行采样，将每个响应与测试用例配对，并在沙盒环境中对其进行验证。 最后，选择验证通过的示例来进行指令调优。 SelfCodeAlign是第一个完全透明的pipeline，使用纯自生成的指令数据对基础代码模型进行自对齐。 实验表明，使用SelfCodeAlign对CodeQwen1.5-7B进行指令微调，在HumanEval+上实现了67.1…

  新智元报道   编辑：编辑部 HYZ 【新智元导读】突破计算极限，智源研究院开发出实时3D模拟数字孪生心脏仿真系统。这一划时代技术突破，将为心脏疾病临床诊疗开启精确模拟的全新纪元。 心脏，作为重要器官之一，其功能正常与否直接影响人类的生命延续。电生理特性反映了心脏的健康和疾病状态。心脏电生理活动的异常，往往会导致心律失常，从而引至心脏泵血功能衰竭等严重健康问题。因此，深入理解和研究心脏的电生理过程，对于提高心脏病的诊断和治疗水平至关重要。传统的心脏电生理研究多依赖于实验室内的动物模型和临床数据，但这类方法往往受限于伦理问题、实验条件和数据获取的复杂性。随着计算技术的发展，计算机仿真成为了一种新兴且强大的研究工具。通过建立数学模型和计算机程序，研究人员可构建数字孪生心脏，能够在虚拟环境中仿真并重现心脏器官的电生理活动（虚拟生理心脏），分析其动态特性，并进行不同生理与病理条件下的实验。虚拟心脏电生理仿真对计算资源要求极高，即使是几毫秒的仿真，也需要累积求解数十亿次微分方程。使用复杂的虚拟心脏模型进行研究时，重现1秒钟的心脏电活动也可能需要数小时或更长。这给虚拟生理心脏的临床应用与药物研发带来重大挑战。为解决这一问题，智源研究院开发了一套实时心脏电生理仿真系统。该系统不仅能够实时模拟心脏的3D电活动，还能通过多种参数的调节，深入探讨不同生理、病理因素对心脏功能的影响。这一实时心脏仿真平台，一方面可在医学基础研究领域发挥作用，帮助临床医生和研究人员更直观地理解心脏的电生理过程，探究心律失常产生机制、预测猝死发生率等；另一方面，可用于构建虚拟药物安全性评估平台，对推动药物安全评估发展具有重要意义。更重要的是，可以在临床应用中提供手术方案预演与决策支持，比如射频消融方案规划，心脏起搏器最佳植入方案规划等。该技术的推进将为医学研究和临床治疗提供新的范式。 虚拟心脏仿真发展史 虚拟生理心脏的构建可利用生理组学的研究方法，综合分子生物学、生物化学、生理学、解剖学及临床医学的最新成果，数学化以及模式化地整合从基因、蛋白质、细胞、组织到器官的解剖（多物理尺度：空间尺度跨越10^9量级，跨时间尺度：时间尺度跨越10^15量级，如图1所示）、生理和生化信息，应用计算机强有力的计算和图形显示能力，通过赋予其心脏所具有的动力学特性、生化特性和各种生理病理特点，使之从形态、结构和功能等方面逼真地再现心脏的生理和病理活动过程。 图1：构建虚拟生化生理人体的时间和空间尺度。时间尺度横跨由分子事件（µs）、细胞信号传导（ms）、细胞功能（s）到人体寿命 (decades) 的10^15跨度。空间尺度横跨由分子（nm）、细胞（µm）、器官（cm）到躯干 (m) 的10^9跨越。虚拟生理心脏研究可追溯与上世纪五十年代。1952年诺贝尔奖得主Hodgkin和Huxley建立了世界上第一个细胞计算模型 — 乌贼神经元细胞模型[1]，开创了用计算模型研究生物问题的先河。1960年Denis Noble[2]在Nature杂志上发表了第一个心肌细胞计算模型 — 浦肯野心肌细胞模型，开创虚拟生理心脏模型的先例。此后几十年的研究中，不断有研究人员研发针对不同物种、心脏不同组织、复杂精密的心肌细胞电生理模型[3]。1991年，Peter Hunter等人[4]基于犬实验数据构建了第一个心脏解剖结构模型，融合多物理尺度与电生理的虚拟心脏模型研究进入新阶段。此后，多尺度、多物理模态的心脏计算模型陆续出现，并被成功应用于心脏功能研究与药物安全性评估[5-8]。在早期虚拟生理心脏研究中，心脏一个生物秒的电生理活动往往需要数日甚至数月来仿真计算。随着显存技术的发展，这个时间缩短到数天。近年，有研究致力于提升虚拟生理心脏的计算速度。比如通过将三维心脏空间划分为矩形子区域来实现并行心脏模拟[9]，使运算速度大大提升。另一项研究通过WebGL将高性能心脏模拟扩展到普通计算机上[10]，甚至有GPU的手机也可以模拟三维心室的电动态。一些研究试图通过自适应时间步长来提高运行速度[11,12]，结果表明，固定时间步长比自适应时间步长方法具有更好的效率[11]。但这些研究仅能达到「准实时运算」，离真正意义上的「实时运算」，即仿真时间与生物时间比达到1:1，还有难以逾越的距离，更不用说仿真精度的提升带来的运算量爆炸式增长。高计算复杂度带来的海量运算，使得虚拟生理心脏模型难以实现实时计算，阻碍其大规模应用。…