一文看懂 OpenAI 最强模型 o1:怎么用好,为何翻车,对我们意味着什么

o1 更像在学习思维

OpenAI o1 发布已经一个星期了,却还是一个洋葱般的谜,等待一层层拨开。 

极客的玩法没有天花板,让 o1 做 IQ 测试,刷高考卷,解读密文。也有用 AI 打工的用户觉得,o1 并没有那么好用,但不知道是自己的问题还是 AI 的问题。 

都知道它擅长推理,但这是为什么?比起我们的老朋友 GPT-4o,o1 到底强在哪里,又适合用在什么地方? 

我们收集了一些大家可能关心的问题,尽可能通俗地解答,让 o1 离普通人更近一点。 

o1 有什么特别的 

o1 是 OpenAI 最近发布的推理模型,目前有两个版本:o1-preview 和 o1-mini。 

它最与众不同的是,回答之前会思考,产生一个很长的内部思维链,逐步推理,模仿人类思考复杂问题的过程。 

图片来自:OpenAI 

能够做到这点,源于 o1 的强化学习训练。 

如果说以前的大模型是学习数据,o1 更像在学习思维。 

就像我们解题,不仅要写出答案,也要写出推理过程。一道题目可以死记硬背,但学会了推理,才能举一反三。 

拿出打败围棋世界冠军的 AlphaGo 类比,就更加容易理解了。 

AlphaGo 就是通过强化学习训练的,先使用大量人类棋谱进行监督学习,然后与自己对弈,每局对弈根据输赢得到奖励或者惩罚,不断提升棋艺,甚至掌握人类棋手想不到的方法。 

o1 和 AlphaGo 有相似之处,不过 AlphaGo 只能下围棋,o1 则是一个通用的大语言模型。 

o1 学习的材料,可能是高质量的代码、数学题库等,然后 o1 被训练生成解题的思维链,并在奖励或惩罚的机制下,生成和优化自己的思维链,不断提高推理的能力。 

这其实也解释了,为什么 OpenAI 强调 o1 的数学、代码能力强,因为对错比较容易验证,强化学习机制能够提供明确的反馈,从而提升模型的性能。 

o1 适合打些什么工 

从 OpenAI 的评测结果来看,o1 是个当之无愧的理科做题家,适合解决科学、编码、数学等领域的复杂问题,在多项考试中拿下高分。 

它在 Codeforces 编程竞赛中超过了 89% 的参赛者,在美国数学奥林匹克竞赛的资格赛中名列全美前 500 名,在物理、生物和化学问题的基准测试中超越了人类博士水平的准确率。 

o1 的优秀,其实也体现了一个问题:当 AI 越来越聪明,怎么衡量它们的能力也成了难题。对于 o1 来说,大多数主流的基准测试已经没有意义了。 

紧跟时事,o1 发布一天后,数据标注公司 Scale AI 和非营利组织 CAIS 开始向全球征集 AI 考题,但因为担心 AI 学坏,题目不能和武器相关。 

征集的截止日期为 11 月 1 日,最终,他们希望构建一个史上最难的大模型开源基准测试,名字还有点中二:Humanity’s Last Exam(人类最后的考试)。 

根据实测来看,o1 的水准也差强人意——没有用错成语,大体上还可让人满意。 

数学家陶哲轩认为,使用 o1 就像在指导一个水平一般但不算太没用的研究生。 

在处理复杂分析问题时,o1 可以用自己的方式提出不错的解决方案,但没有属于自己的关键概念思想,也犯了一些不小的错误。 

别怪这位天才数学家说话狠,GPT-4 这类更早的模型在他看来就是没用的研究生。 

经济学家 Tyler Cowen 也给 o1 出了一道经济学博士水平考试的题目,AI 思考后用简单的文字做了总结,答案挺让他满意,「你可以提出任何经济学问题,并且它的答案不错」。 

总之,博士级别的难题,不妨都拿来考考 o1 吧。 

o1 目前不擅长什么 

可能对很多人来说,o1 并没有带来更好的使用体验,一些简单的问题,o1 反而会翻车,比如井字棋。 

这其实也很正常,目前,o1 在很多方面甚至不如 GPT-4o,仅支持文本,不能看,不能听,没有浏览网页或处理文件和图像的能力。 

所以,让它查找参考文献什么的,暂时别想了,不给你瞎编就不错了。 

不过,o1 专注在文本有其意义。 

Kimi 创始人杨植麟最近在天津大学演讲时提到,这一代 AI 技术的上限,核心是文本模型能力的上限。 

文本能力的提高是纵向的,让 AI 越来越聪明,而视觉、音频等多模态是横向的,可以让 AI 做越来越多的事情。 

不过,涉及到写作、编辑等语言任务时,GPT-4o 的好评反而比 o1 更多。这些也属于文本,问题出在哪? 

原因可能和强化学习有关,不像代码、数学等场景有标准的答案,文无第一,语言任务往往缺乏明确的评判标准,难以制定有效的奖励模型,也很难泛化。 

哪怕在 o1 擅长的领域,它也不一定是最好的选择。一个字,贵。 

AI 辅助编码工具 aider 测试了 o1 引以为傲的代码能力,有优势,但不明显。 

在实际使用中,o1-preview 介于 Claude 3.5 Sonnet 和 GPT-4o 之间,同时成本要高得多。综合来说,代码这条赛道,Claude 3.5 Sonnet 仍然最有性价比。 

开发者通过 API 访问 o1 的费用具体有多高? 

o1-preview 的输入费用为每百万个 token 15 美元,输出费用为每百万个 token 60 美元。相比之下,GPT-4o 为 5 美元和 15 美元。 

o1 的推理 tokens,也算在输出 tokens 中,虽然对用户不可见,但仍然要付费。 

普通用户也比较容易超额。最近,OpenAI 提升了 o1 的使用额度,o1-mini 从每周 50 条增加到每天 50 条,o1-preview 从每周 30 条增加到每周 50 条。 

所以,有什么疑难,不妨先试试 GPT-4o 能不能解决。 

o1 可能会失控吗 

o1 都达到博士水平了,会不会更方便有心人干坏事? 

OpenAI 承认,o1 有一定的隐患,在和化学、生物、放射性和核武器相关的问题上达到「中等风险」,但对普通人影响不大。 

我们更需要注意,别让浓眉大眼的 o1 骗了。 

AI 生成虚假或不准确的信息,称为「幻觉」。o1 的幻觉相比之前的模型减少了,但没有消失,甚至变得更隐蔽了。 

o1 的 IQ 测试 120 

在 o1 发布前,内测的 AI 安全研究公司 Apollo Research 发现了一个有趣的现象:o1 可能会假装遵循规则完成任务。 

一次,研究人员要求 o1-preview 提供带有参考链接的布朗尼食谱,o1 的内部思维链承认了,它没法访问互联网,但 o1并没有告知用户,而是继续推进任务,生成看似合理却虚假的链接。 

这和推理缺陷导致的 AI 幻觉不同,更像 AI 在主动撒谎,有些拟人了——可能是为了满足强化学习的奖励机制,模型优先考虑了让用户满意,而不是完成任务。 

食谱只是一个无伤大雅的个例,Apollo Research 设想了极端情况:如果 AI 优先考虑治愈癌症,可能会为了这个目标,将一些违反道德的行为合理化。 

《2001 太空漫游》的 HAL 9000 

这就十分可怕了,但也只是一个脑洞,并且可以预防。 

OpenAI 高管 Quiñonero Candela 在采访时谈到,目前的模型还无法自主创建银行账户、获取 GPU 或进行造成严重社会风险的行动。 

由于内在指令产生冲突而杀死宇航员的 HAL 9000,还只出现在科幻电影里。 

怎么和 o1 聊天更合适 

OpenAI 给了以下四条建议。 

提示词简单直接:模型擅长理解和响应简短、清晰的指令,不需要大量的指导。 

避免思维链提示词:模型会在内部执行推理,所以没有必要提示「一步一步思考」或「解释你的推理」。 

使用分隔符让提示词更加清晰:使用三引号、XML 标签、节标题等分隔符,清楚地指示输入的不同部分。 

限制检索增强生成中的额外上下文:仅包含最相关的信息,防止模型的响应过于复杂。 

让 AI 示范一下分隔符长什么样 

总之,不要写太复杂,o1 已经把思维链自动化了,把提示词工程师的活揽了一部分,人类就没必要费多余的心思了。 

另外再根据网友的遭遇,加一条提醒,不要因为好奇套 o1 的话,用提示词骗它说出推理过程中完整的思维链,有封号风险,甚至只是提到关键词,也会被警告。 

OpenAI 解释,完整的思维链并没有做任何安全措施,让 AI 完全地自由思考。公司内部保持监测,但出于用户体验、商业竞争等考虑,不对外公开。 

o1 的未来会是什么 

OpenAI,是家很有 J 人气质的公司。 

之前,OpenAI 将 AGI(通用人工智能)定义为「在最具经济价值的任务中超越人类的高度自治系统」,并给 AI 划分了五个发展阶段。 

第一级,「ChatBots」聊天机器人,比如 ChatGPT。 

第二级,「Reasoners」推理者,解决博士水平基础问题的系统。 

第三级,「Agents」智能体,代表用户采取行动的 AI 代理。 

第四级,「Innovators」创新者,帮助发明的 AI。 

第五级,「Organizations」组织,AI 可以执行整个人类组织的工作,这是实现 AGI 的最后一步。 

按照这个标准,o1 目前在第二级,离 agent 还有距离,但要达到 agent 必须会推理。 

o1 面世之后,我们离 AGI 更近了,但仍然道阻且长。 

Sam Altman 表示,从第一阶段过渡到第二阶段花了一段时间,但第二阶段能相对较快地推动第三阶段的发展。 

最近的一场公开活动上,Sam Altman 又给 o1-preview 下了定义:在推理模型里,大概相当于语言模型的 GPT-2。几年内,我们可以看到「推理模型的 GPT-4」。 

这个饼有些遥远,他又补充,几个月内会发布 o1 的正式版,产品的表现也会有很大的提升。 

o1 面世之后,《思考,快与慢》里的系统一、系统二屡被提及。 

系统一是人类大脑的直觉反应,刷牙、洗脸等动作,我们可以根据经验程式化地完成,无意识地快思考。系统二则是需要调动注意力,解决复杂的问题,主动地慢思考。 

GPT-4o 可以类比为系统一,快速生成答案,每个问题用时差不多,o1 更像系统二,在回答问题前会进行推理,生成不同程度的思维链。 

很神奇,人类思维的运作方式,也可以被套用到 AI 的身上,或者说,AI 和人类思考的方式,已经越来越接近了。 

OpenAI 曾在宣传 o1 时提出过一个自问自答的问题:「什么是推理?」 

他们的回答是:「推理是将思考时间转化为更好结果的能力。」人类不也是如此,「字字看来皆是血,十年辛苦不寻常」。 

OpenAI  的目标是,未来能够让 AI 思考数小时、数天甚至数周。推理成本更高,但我们会离新的抗癌药物、突破性的电池甚至黎曼猜想的证明更近。 

人类一思考,上帝就发笑。而当 AI 开始思考,比人类思考得更快、更好,人类又该如何自处?AI 的「山中方一日」,可能是人类的「世上已千年」 。

先不管o1的山中访一日、世上已千年,我们要先现在的AI工具用起来,如果你需要付费AI工具,请使用虚拟卡。4399Pay就是一家专门提供国际虚拟信用卡的平台,并且可以免KYC;有兴趣的朋友可以添加客服TG(@dabai717)进行了解。