Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人
Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人TII开源全球第一个通用的大型Mamba架构模型Falcon Mamba 7B,性能与Transformer架构模型相媲美,在多个基准测试上的均分超过了Llama 3.1 8B和Mistral 7B。
来自主题: AI资讯
8816 点击 2024-08-13 17:07
搜索
TII开源全球第一个通用的大型Mamba架构模型Falcon Mamba 7B,性能与Transformer架构模型相媲美,在多个基准测试上的均分超过了Llama 3.1 8B和Mistral 7B。
只是换掉Transformer架构,立马性能全方位提升,问鼎同规模开源模型!
5月14日,开源的大语言模型Falcon 2发布,性能超越Llama 3,消息登上了Hacker News热榜第一。「猎鹰」归来,开源宇宙将会迎来新的霸主吗?
人在家中坐,秒变马斯克。
一经发布,地表最强开源模型Falcon 180B直接霸榜HF。3.5万亿token训练,性能直接碾压Llama 2。