
新华社北京11月21日电(记者魏梦佳)近年来,人工智能的发展遵循一个简单明了的规则——模型越大,能力越强。这条被称为“规模法则”的道路催生了我们今天看到的各种强大的大规模人工智能模型。但同时,随着模型参数数量的增加,模型训练和使用的成本也随之增加,这在一定程度上阻碍了大型模型的工业化应用。
清华大学最新研究成果——大型模型的“密度定律”20日以封面文章发表在国际期刊《自然·机器智能》上,为人工智能发展指明了新方向:让人工智能模型变得更强,不仅要靠“体型”,还要靠“密度”。
图为刊登清华成果的《自然·机器智能》封面。新华社
“过去,我们倾向于我们需要关心AI模型的大小,即参数的数量。事实上,我们更应该关心的是模型的‘能力’,即每个参数单元能够展现出的智能水平。”论文第一作者、清华大学计算机科学与技术系助理研究员肖朝军表示,“这就像评价一个武术高手,不是看他的身躯有多大,而是看他每招蕴含的功力有多少。”
研究人员表示,实现这样的“密度能力”不能依赖“压缩模型”。 Arrow 发现,经过研究发现,强制压缩大型模型就像将一本厚厚的字典强制压缩到一本小书中。很多内容会丢失,导致“情报”被拒绝。因此,需要更先进的“数据+算力+算法”系统来培育“高密度”能力的小模型。
通过研究近几年发布的51个开源大型模型研究人员发现,大规模人工智能模型的“技能密度”正在以指数级速度增长,大约每 3.5 个月翻一番。
这意味着什么?例如,如果今天我们需要一个体育馆大小的“大脑”来完成一项复杂的任务,那么大约三个半月后,我们将只需要一个客厅大小的“大脑”;再过三个半月,这个“大脑”可能只需要背包大小。
图为清华大学研发的智能面墙“高密度”端侧模型应用于机器人。新华社
据了解,清华大学与AI公司Wallface Intelligence团队合作,推出了一系列“高密度”模型,应用于手机、汽车、智能家居等生活领域。
“AI模型并不是越大越好,‘精细’和‘高效’才是未来发展的方向。”萧朝军说,强大的大——未来规模化的AI模型将更广泛地运行在手机、电脑、汽车等终端上。当芯片算力和AI智能密度两条快车道对接时,“端侧智能”之箭或将到来。之后,个人设备有望拥有前所未有的智能,不仅响应速度更快,而且能更好地保护个人隐私。
为铭记光影辉煌,首届新疆国际摄影大赛正式启动。为庆祝新疆维吾尔自治区成立70周年,“亿源汽车首届新疆国际摄影大赛“汽车杯”于9月28日正式启动。2025-09-29 14:31 杜鹃花海茶飘香2025年4月10日,安徽省芜湖市武威市昆山镇三公山茶树种植基地,千株高山野生杜鹃花茶适合绿意盎然的高山野生杜鹃花配绿茶。山花,真美 2025-04-10 15:13 慕田峪的大墙里,山花盛开。 2025年4月1日,北京怀柔慕田峪长城内外山花竞放。美丽的春花让古长城绚丽多彩,宛如一幅美妙的春天山水画 2025-04-02 15:44 偏离长江至惠河的彩潮线继续航行。 2025年4月1日,船舶沿长江航行至安徽省合肥市庐江县淮河航道,标志着菜子湖湿地冬季候鸟禁航结束,蔡(紫湖)潮(湖)恢复航行2025-04-01 15:40 2025-04-01 15:40 Voticqueque 春天 春天来了。 2025年3月31日太湖之滨,桃花、樱花、油菜花等,生态良好,春色诱人。 2025-04-01 15:31