Claude3,超越 ChatGPT4 的新一代大模型

资讯 2024-03-06 09:58 0


Claude3 来了,与 Claude 以往的版本不同,这个版本引起了轰动。

以前 Claude 给我的印象就是普普通通,没什么亮点,唯一让我印象深刻就是它的上下文比 GPT 长很多。

但 Claude3 不一样了,不再是小透明了,因为它超越了行业标杆 GPT4。

Claude3 是一个家族,包含3个版本:

Claude 3 Haiku、Claude 3 Sonnet、Claude 3 Opus

能力依次增强,Opus 是最牛版。

目前 Claude 官网可以免费使用的是 Sonnet,Opus 是收费版,20美金一个月。

1. 性能

基准测试

这张图是 Claude 官网给出的多个模型基准测试对比。

可以看出,Opus 在各项测试中都超过了 GPT4,并且,有好几项都是大幅领先,这就难怪 Claude3 引起轰动了。

在这个图中,有两点让我很惊讶。

一是 MGSM 测试,Claude3 大幅领先不说,关键是数字下面的 shot 数,Claude3 是 0-shot,而 GPT4 是 8-shot,shot 是示例。

也就是说这项测试中,Claude3 没用示例,比 GPT4 用了8个示例还牛。

二是 Haiku 与 GPT3.5 的对比。

Haiku 是 Claude3 的最低配,居然比 GPT3.5 厉害。

长文本测试

这张图是 Opus 的长文本准确性测试。

Claude 3 Opus 在进行评估时不仅能够准确地回忆信息,还能够识别出可能存在的干扰或错误,包括人为插入的内容。这表明 Claude 3 Opus 在评估过程中具有一定的自我识别和纠错能力。

这项能力的提升可以说是飞跃,要知道,在 Claude 2.1 中,上下文超过 10K 时,准确率只有50%左右。

2. API 价格

API 价格也是我比较关心的。

以 1M tokens 为单位,

Opus 输入价格是 $15,输出价格是 $75。

GPT4 输入价格是 $30,输出价格是 $60。

GPT-4 Turbo 更便宜,输入价格是 $10,输出价格是 $30。

所以 Opus 在价格上没有优势。

Claude 3 性价比最高的是 Haiku 版本,不仅性能超过了 GPT3.5,而且更便宜。

Haiku 输入价格是 $0.25,输出价格是 $1.25。

GPT3.5 输入价格是 $0.5,输出价格是 $1.5。


Claude 3 已经正式步入了大模型产品的第一梯队,使我们有了更多的选择,我不会只将其作为备胎了,一定会更频繁的使用。

#Claude3,#ChatGPT4,#人工智能,#gpt890,#Prompt提示词