ICLR 2025|浙大、千问发布预训练数据管理器DataMan,53页细节满满
ICLR 2025|浙大、千问发布预训练数据管理器DataMan,53页细节满满在 Scaling Law 背景下,预训练的数据选择变得越来越重要。然而现有的方法依赖于有限的启发式和人类的直觉,缺乏全面和明确的指导方针。在此背景下,该研究提出了一个数据管理器 DataMan,其可以从 14 个质量评估维度对 15 个常见应用领域的预训练数据进行全面质量评分和领域识别。
在 Scaling Law 背景下,预训练的数据选择变得越来越重要。然而现有的方法依赖于有限的启发式和人类的直觉,缺乏全面和明确的指导方针。在此背景下,该研究提出了一个数据管理器 DataMan,其可以从 14 个质量评估维度对 15 个常见应用领域的预训练数据进行全面质量评分和领域识别。
动辄百亿、千亿参数的大模型正在一路狂奔,但「小而美」的模型也在闪闪发光。
AI给阿里涨了约9000亿港元市值
江树的碎碎念:最近发现阿里家的千问AI偷偷上线了海外版,不仅完全免费、无需魔法,功能甚至比ChatGPT还要强!这不赶紧带大家尝鲜体验一波?最近我发现了一个超赞的一站式免费AI神器:阿里千问海外版! 它直接开启了一个全新的网址:chat.qwenlm.ai
也该收收心开始写公号了,最近大家也看到我发的视频了,一直在摸索通义的文生导演模式,那么也有很多观众老爷问,通义有导演模式?我怎么没找到,在这里雪佬一并回复大家,通义其实是没有导演模式的,或者说暂时没有,看到这,友友们又会接着发问,那么你说到导演模式,究竟是个什么东西?
本周,在阿里云通义千问 Qwen 团队提交的一篇论文中,研究人员发现了目前最热门的 MoE(混合专家模型)训练中存在的一个普遍关键问题,并提出一种全新的方法——通过轻量的通信将局部均衡放松为全局均衡,使得 MoE 模型的性能和专家特异性都得到了显著的提升。
OpenAI o1 给大模型规模扩展 vs 性能的曲线带来了一次上翘。它在大模型领域重现了当年 AlphaGo 强化学习的成功 —— 给越多算力,就输出越多智能,一直到超越人类水平。
近日,传音控股(以下简称传音)已与阿里云达成合作,通义千问大模型已经搭载在传音旗下科技品牌TECNO推出的AI手机PHANTOM V Fold2中,打造了深度本地化的“实用型AI”。
2024年12月31日,阿里云宣布2024年度第三轮大模型降价,通义千问视觉理解模型全线降价超80%。
第一财经联合DT商业观察,通义千问发布《2024年轻人AI使用趋势报告》,2024年年轻人AI使用情况,呈现多维度趋势,展现年轻人对AI的高度关注与广泛应用,及其对生活和工作的多方面影响。