下载APP

首页 / 超越GPT-4o！70B Llama3改进后超厉害！

更多

体育数码

超越GPT-4o！70B Llama3改进后超厉害！

元宇宙头条中国站 2024-05-20 14:00:00 热度 2846

元宇宙头条

11-14 14:28 494288

据腾科AI５月１８日消息，70 B的模型，1000个token，相当于4000个字符！

在Llama3上做了一些改进，并且引进了一种加速算法，所以它的运算速度比原版要快上十三倍！

不仅仅是速度，它的性能比GPT-4o还要好。

这个结果，是由最近很流行的人工智能程序工具 Cursor的团队 anysphere提供的。

要知道，就算是 Groq这个以速度见长的程序，70 Blama3的计算速度，也只有300个左右。

Cursor的这种速度，几乎可以说是完成了几乎瞬间完成的全部代码文件的编辑。

有人惊呼一声，如果将 Cursor的LAMa3放在 Groq上，那岂不是一秒就能达到一万多个 token？

这一次，使用了一个叫做“Fast Apply”的算法，可以在短时间内完成对代码的修改和应用。

首先要注意的是，虽然最后的结果是对代码进行了部分的修改，但在实际的工作中，并不是只有一些改变，而是整个系统都被改写了。

之所以这么做，是因为研究小组在进行了预测试之后，发现除了Claude-3-Opus之外，大部分的模型在真实的本地修正任务中都表现得很差。

造成这种情况的原因有三：

首先，在进行简单的改写时，会产生更多的 token，从而产生更多的正向传输，以决定正确的答案。

其次，该模型所用的数据大多为完备的代码，对于局部的改动比较陌生。

另外，大型模式差的数学操作不能确保当有不同的输出时可以正确地处理行数。

在确认了全局覆盖策略之后， Cursor小组利用与任务有关的数据来调整Llama3。

本研究使用的资料包括真实编辑资料和人工资料，以1:4的比例调配。

这里的综合数据是指使用GPT-4产生的编码编辑提案，随后“应用”到原来的代码中。

在此基础上，本文还对小文件，重复文件，不变样本等数据进行了降采样。

为了评价模型的性能，研究人员将其分成450次（每种最多400行），并使用Claude3-Opus评分。

最后，作者改进了70B Llama3，其性能接近Claude3-Opus-diff，并比GPT-4-Turbo、GPT-4o更好。

来源：腾科AI

编辑：Luke

（声明：请读者严格遵守所在地法律法规，本文不代表任何投资建议）

元宇宙电商虚拟购物

本文来源：元宇宙头条文章作者：元宇宙头条中国站

收藏

举报

元宇宙头条中国站

累计发布内容523篇累计总热度10万+

523篇 10万+

更多文章

FTX 后院起火，Binance 釜底抽薪

FTX 后院起火，Binance 釜底抽薪

FTX 后院起火，Binance 釜底抽薪

元宇宙头条现已开放专栏入驻，详情请见入驻指南： #

免责声明：
1、本文版权归原作者所有，仅代表作者本人观点，不代表元宇宙头条观点或立场。
2、如发现文章、图片等侵权行为，侵权责任将由作者本人承担。

上一篇：GPT-4通过图灵测试，胜率高达54%！UCSD新作：人类无法认出GPT-4

下一篇：微软AI PC全面“亮剑”！Copilot融入Windows 11，GPT 4o“很快”加持

评论共0条

默认

|

点赞

说点什么吧

相关文章

GPT-4o Mini 亮相：Claude Haiku、Gemini Flash和GPT3.5Turbo的经济高效、高性能替代品

速途元宇宙研究院 11-18 19:25

超越ChatGPT5！10万H100 GPU，马斯克的登顶之战

速途元宇宙研究院 11-18 19:25

冰毒配方脱口而出，过去时态让GPT-4o防线崩塌！成功率从1%暴涨至88%

速途元宇宙研究院 11-18 19:25

二次元类魂游戏，还能把“下水道”和“美少女”做一块？

速途元宇宙研究院 11-18 19:25

OpenAI最新的AI模型GPT-4o可以通过以下四种方式提高您的工作效率

速途元宇宙研究院 11-18 19:25

OpenAI突发新模型，GPT-3.5退役，大模型成本2年骤降99%

速途元宇宙研究院 11-18 19:25

您需要登录后才可以回帖立即登录

元宇宙头条中国站

个人认证

+关注

微信公众号

热门文章

本日

本周

本月

下载APP

微信公众号

关于我们投稿须知联系我们意见反馈隐私政策 APP下载

info@meta-time.org

元宇宙头条科技有限公司

粤ICP备13090461号

关于我们

由元宇宙联邦、元宇宙联邦大学、元宇宙时代和元宇宙头条联合打造的、面对全世界的融媒体“元宇宙头条”APP正式创版上线。

关于我们| 联系我们| 加入我们| 意见反馈

网站地图

关注公众号

微信客服

Copyright @ 2021 MetaTopNewInc. Powered by 元宇宙头条