法国AI公司Mistral推出超大模型Mixtral 8x22B,问鼎开源榜首

据科技讯4月12日消息,在人工智能领域,一场新的竞赛正在激烈展开。昨日,被誉为“欧洲版OpenAI”的法国公司Mistral AI悄然发布了一款全新的MoE(专家混合)大模型——Mixtral 8x22B。这款模型的参数规模高达1760亿,仅次于马斯克的Grok-1,成为了市场上参数规模第二大的开源模型。



Mixtral 8x22B的发布引起了业界的广泛关注。该模型由8个专家模型构成,每个模型的参数规模达到了220亿,模型文件大小约为262GB。在性能上,Mixtral 8x22B在多项测评中取得了令人瞩目的成绩,尤其是在MMLU(大规模多任务语言理解)测试中,该模型成功登顶开源模型榜首,同时在Hellaswag、TruthfulQA、GSM8K等多项测评中,成绩超越了Llama 2 70B、GPT-3.5以及Claude 3 Sonnet等竞争对手。


值得一提的是,尽管Mixtral 8x22B的发布方式相对低调,但其在开源社区中却引起了巨大的反响。在放出磁力链接后不久,Mixtral 8x22B便迅速上架了开源社区Hugging Face,用户可以进一步对其进行训练和部署。AI搜索平台Perplexity Labs和开源平台Together AI也迅速提供了对该模型的支持。


在性能优化方面,AI科学家贾扬清表示,通过合理的量化,Mixtral 8x22B可以在4个A100/H100显卡上运行,实际上,只需要3张A100显卡就足够支持其运行。此外,苹果机器学习研究员Awni Hannun也指出,Mixtral 8x22B模型在苹果机器学习框架MLX上使用M2 Ultra芯片运行良好,并发布了MLX社区中的4位量化模型。


Mistral AI的这一重大突破不仅体现了法国在人工智能领域的强大实力,也进一步推动了全球AI技术的发展。随着开源社区的快速发展,Mixtral 8x22B的发布无疑将为更多开发者和研究人员提供新的机遇和挑战。


此外,Mistral AI的成就也反映了法国AI生态的蓬勃发展。近年来,法国在AI领域取得了显著的进步,从计算机培训学校的创办到深度学习研究院的成立,再到创业园区的兴起,法国已经成为全球AI领域的重要力量。


与此同时,法国AI生态的崛起也吸引了全球科技巨头的关注。谷歌DeepMind在巴黎开设实验室,进一步证明了法国在AI领域的吸引力。而Mistral AI的成功,更是为法国AI生态的未来发展注入了强大的动力。


随着人工智能技术的不断发展,我们期待看到更多像Mistral AI这样的公司能够涌现出来,推动全球AI技术的进步,为人类社会的未来发展贡献更多的智慧和力量。


来源:科技讯 作者:AI 出处:https://www.kejixun.com/article/646396.html


编辑:Luke


(声明:请读者严格遵守所在地法律法规,本文不代表任何投资建议)

本文来源:元宇宙头条 文章作者:元宇宙头条中国站
收藏
举报
元宇宙头条中国站
累计发布内容523篇 累计总热度10万+
523篇 10万+
FTX 后院起火,Binance 釜底抽薪
FTX 后院起火,Binance 釜底抽薪
FTX 后院起火,Binance 釜底抽薪

元宇宙头条现已开放专栏入驻,详情请见入驻指南: #

免责声明:
1、本文版权归原作者所有,仅代表作者本人观点,不代表元宇宙头条观点或立场。
2、如发现文章、图片等侵权行为,侵权责任将由作者本人承担。

评论 共0条
默认
|
点赞
说点什么吧
相关文章
您需要登录后才可以回帖 立即登录