总结374篇相关工作,陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述
总结374篇相关工作,陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述早在 2020 年,陶大程团队就发布了《Knowledge Distillation: A Survey》,详细介绍了知识蒸馏在深度学习中的应用,主要用于模型压缩和加速。随着大语言模型的出现,知识蒸馏的作用范围不断扩大,逐渐扩展到了用于提升小模型的性能以及模型的自我提升。
搜索
早在 2020 年,陶大程团队就发布了《Knowledge Distillation: A Survey》,详细介绍了知识蒸馏在深度学习中的应用,主要用于模型压缩和加速。随着大语言模型的出现,知识蒸馏的作用范围不断扩大,逐渐扩展到了用于提升小模型的性能以及模型的自我提升。
苹果首次披露了在多模态大型语言模型(LLM)研究领域的最新突破,并在生成式AI领域“开辟新天地”。探索生成式AI领域,将AI技术引入iPhone
「OpenAI机器人」一出世惊艳众人!最近,李飞飞团队打造了一个开源便携式手部动捕系统——DexCap,成本仅3600美元,就能让机械灵巧手完成花样任务。
今年以来,苹果显然已经加大了对生成式人工智能(GenAI)的重视和投入。此前在 2024 苹果股东大会上,苹果 CEO 蒂姆・库克表示,今年将在 GenAI 领域实现重大进展。此外,苹果宣布放弃 10 年之久的造车项目之后,一部分造车团队成员也开始转向 GenAI。
2024年3月13日,欧洲议会以523票赞成、46票反对、49票弃权正式批准通过了欧盟《人工智能法案》(EU AI Act),由此走出了完成立法程序最重要的一步。
AI世界的进化快的有点跟不上了。刚刚,全球最强最大AI芯片WSE-3发布,4万亿晶体管5nm工艺制程。更厉害的是,WSE-3打造的单个超算可训出24万亿参数模型,相当于GPT-4/Gemini的十倍大。
LLM开源从Infra做起!Meta公布了自己训练Llama 3的H100集群细节,看来Llama 3快来了。
谷歌DeepMind号称打造出了首个能在广泛3D虚拟环境和视频游戏中遵循自然语言指令的通用AI智能体。
3月,国内外模型公司动作频频。国产大模型独角兽“五小虎”之一零一万物也有诸多新动作。
一年一度的阿里全球数学竞赛又开始了。本届最大的亮点,首次向硅基AI开放,最高可摘得1万美金大奖。不用等了,带着你的AI来挑战吧。