AI资讯新闻榜单内容搜索-MMLU

关键词: 大模型,AI,GPT-4,MMLU-PRO

大模型权威测试，翻车了？！ HuggingFace都在用的MMLU-PRO，被扒出评测方法更偏向闭源模型，被网友直接在GitHub Issue提出质疑。

关键词: Llama 3,开源大模型,最强开源大模型,Meta

智东西4月19日消息，Meta推出迄今为止能力最强的开源大模型Llama 3系列，发布8B和70B两个版本。 Llama 3在一众榜单中取得开源SOTA（当前最优效果）。Llama 3 8B在MMLU、GPQA、HumanEval、GSM-8K等多项基准上超过谷歌Gemma 7B和Mistral 7B Instruct。

关键词: GPT-4,百川大模型,百川医疗

百川智能又对产品进行了一次大更新，发布了Baichuan 3模型。这次更新后，在多个权威通用能力评测CMMLU、GAOKAO和AGI-Eval中，其英文能力已经逼近 GPT-4，在中文任务表现上甚至超越了GPT-4：

关键词: Gemini,GPT-4,谷歌AI

谷歌憋了许久的大招，双子座Gemini大模型终于发布！其中一图一视频最引人注目：一图，MMLU多任务语言理解数据集测试，Gemini Ultra不光超越GPT-4，甚至超越了人类专家。

关键词: 大模型刷榜,国产大模型,SuperCLUE,CMMLU,C-Eval

商业利益的加入，就必然会驱使AI大模型厂商争先恐后去刷榜了。“不服跑个分”这句话，相信关注手机圈的朋友一定不会感到陌生。诸如安兔兔、GeekBench等理论性能测试软件，由于能够在一定程度上反映手机的性能，因此备受玩家的关注。