ICML 2024 | 梯度检查点太慢?不降速、省显存,LowMemoryBP大幅提升反向传播显存效率
ICML 2024 | 梯度检查点太慢?不降速、省显存,LowMemoryBP大幅提升反向传播显存效率自从大型 Transformer 模型逐渐成为各个领域的统一架构,微调就成为了将预训练大模型应用到下游任务的重要手段
搜索
自从大型 Transformer 模型逐渐成为各个领域的统一架构,微调就成为了将预训练大模型应用到下游任务的重要手段
论老黄卖铲子的技术含量。
生成式模型原本被设计来模仿人类的各种复杂行为,但人们普遍认为它们最多只能达到与其训练数据中的专家相当的水平。不过,最新的研究突破了这一限制,表明在特定领域,如国际象棋,通过采用低温采样技术,这些模型能够超越它们所学习的那些专家,展现出更高的能力。
近两年最热的赛道就是 AI 了,我们技术团队早在去年上半年就开始布局相关的技术研究,但现在一年多时间过去了,产品上却迟迟没有做任何与 AI 相关的功能。
这期对谈如果要提炼出一个核心观点,我想就是——人工智能的持续进步,现在需要开创性的用户界面和产品体验,但这不只是一个技术活儿,也是一个艺术活儿,才能把尖端科技用柔软轻盈的方式带入到大众的生活里。
《思考快与慢》中人类的两种思考方式,属实是被Meta给玩明白了。
AI初创公司Character.AI面临被收购压力。
一年一度谷歌学术指标公布了!Nature年年霸榜,而今年与以往不同的是,国际学术顶会的排名大幅提升,CVPR位居第二,超越Science仅次于Nature。另外,TOP 20中,共有五大顶会入选,被引最高论文与大模型时代下前沿技术,一脉相承。
最近,一位AI炒菜机器人不仅向人类大厨发起了PK,而且还通过了「图灵测试」:根本吃不出来是AI机器人炒的!而在这背后,竟然是1.5个亿的投入和近7吨菜的训练。
同样是图生视频,PaintsUndo 走出了不一样的路线。