微软出招!新模型数学超GPT-4o编程胜Llama3.3,训练新范式引热议:midtraining
微软出招!新模型数学超GPT-4o编程胜Llama3.3,训练新范式引热议:midtrainingOpenAI谷歌天天刷流量,微软也坐不住了,推出最新小模型Phi-4。 参数量仅14B,MMLU性能就和Llama 3.3/ Qwen2.5等70B级别大模型坐一桌。
来自主题: AI技术研报
8990 点击 2024-12-13 15:14
搜索
OpenAI谷歌天天刷流量,微软也坐不住了,推出最新小模型Phi-4。 参数量仅14B,MMLU性能就和Llama 3.3/ Qwen2.5等70B级别大模型坐一桌。
随着对现有互联网数据的预训练逐渐成熟,研究的探索空间正由预训练转向后期训练(Post-training),OpenAI o1 的发布正彰显了这一点。
越来越多研究发现,后训练对模型性能同样重要。Allen AI的机器学习研究员Nathan Lambert最近发表了一篇技术博文,总结了科技巨头们所使用的模型后训练配方。
前阵子,一段宠物主人与自家狗狗“对话”的短视频在社交平台火了。
AI“狗语翻译器”,让人类与狗跨物种交流。
Ellie是一条金毛犬,狗主人对着手机上一款APP应用发了一段语音:“HI Ellie,你能给我拿下遥控器吗?”
针对视觉-语言预训练(Vision-Language Pretraining, VLP)模型的对抗攻击,现有的研究往往仅关注对抗轨迹中对抗样本周围的多样性,但这些对抗样本高度依赖于代理模型生成,存在代理模型过拟合的风险。