2月24日消息，据外媒报道，OpenAI的研究人员承认，即使是最先进的AI模型仍然无法与人类程序员匹敌，尽管首席执行官山姆・奥特曼(Sam Altman)坚称，到今年年底，他们将能够击败“低级”的软件工程师。

  在一篇新论文中，该公司的研究人员发现，即使是前沿模型，或最先进、最具突破边界的人工智能系统，“仍然无法解决大多数”编码任务。

  研究人员使用了一种名为sw-lancer的新开发基准，该基准基于自由职业者网站Upwork的1400多个软件工程任务。使用这个基准，OpenAI测试了三个大模型，它自己的o1推理模型和旗舰GPT-4o，以及Anthropic的克劳德3.5十四行诗。

  具体地说，新的基准评估了大模型对Upwork中的两种任务的执行情况：单个任务，涉及解决错误并实现对它们的修复，或者管理任务，看到模型试图缩小并做出更高级别的决策。

  这些模型在Upwork上承担了累积价值数十万美元的任务，但它们只能修复表面的软件问题，而无法在更大的项目中找到BUG或找到它们的根本原因。

  这篇论文指出，尽管这三位大模型通常能够“比人类快得多”地操作，但他们也未能把握漏洞的普遍程度或理解它们的背景，“导致解决方案不正确或不够全面。”

  正如研究人员解释的那样，Claude 3.5 Sonnet比两个OpenAI模型表现得更好，比o1和GPT-40赚得更多。尽管如此，它的大多数答案都是错误的，根据研究人员的说法，任何模型都需要“更高的可靠性”来信任现实生活中的编码任务。

  更直白地说，这篇论文似乎表明，尽管这些前沿模型可以快速工作并解决放大任务，但它们在处理这些任务方面远不如人类工程师熟练。

  尽管这些大模型在过去几年里发展迅速，而且很可能会继续发展，但他们在软件工程方面的技能还不足以取代现实生活中的人，这并不妨碍首席执行官们解雇他们的人类程序员，转而支持不成熟的人工智能模型。