人工智能进步神速，公司高层声称到年底AI将胜过初级软件工程师，但最新研究却对此乐观预测提出了质疑。AI真的有那么强大吗？
研究背景
近期，人工智能在多个行业展现出出色表现，编程界亦对其抱有较高期待。尽管公司CEO萨姆・奥尔特曼预测AI将在年底超越初级软件工程师，但研究团队正进行深入分析，力求揭示顶尖AI模型与人类程序员之间的实际差距。他们基于实际情况，以编程任务为研究起点，力求得出公正的结论。
基准测试开发
为了准确衡量AI模型的编程水平，研究者们设计了一套名为SWE的新型基准测试工具。这个工具依托于1400余项来自自由职业者网站的软件工程任务构建而成，具有很高的现实参考价值。这些任务覆盖了多种编程情境，能够全面检验AI模型在实际问题面前的处理能力。
参与测试的模型
本次测试挑选了三款知名的大型语言模型，包括本团队的o1推理模型、公司的旗舰产品GPT-4o以及3.5版本。这些模型在业内享有盛誉，体现了当前AI编程技术的尖端水平。将它们放入相同的测试环境中，可以更清晰地看出各个模型之间的优劣差异。
测试任务类型
测试主要考察了这些模型在两种不同任务上的表现。在个体任务中，模型需修复漏洞并采取相应措施，这对其细节处理和问题解决能力提出了挑战。而在管理任务中，模型需要从宏观层面做出更高层次的决策，这对其综合规划和统筹能力进行了检验。这两类任务全面地测试了模型的编程水平。
测试结果分析
测试期间不得让模型接触网络，以防出现抄袭行为。尽管这三款大型语言模型在完成任务的速度上远超人类，但它们只能处理软件的表面问题，无法深入挖掘大型项目的潜在漏洞，提供的解决方案要么不正确，要么不够全面。其中，3.5模型的表现略胜一筹，获得的收益也更高，但大多数答案仍有误，这表明其整体可靠性仍有待提高。
对行业的影响与思考
论文指出，尽管前沿模型在处理细节任务上速度很快，但与人类工程师相比，其能力仍有较大差距。然而，一些CEO却因不成熟的AI模型而辞退程序员。这种现象引人深思。在软件工程领域，AI目前尚无法取代人类。虽然未来AI会不断进步，但何时能真正承担起重任，还是一个未知数。
现在面临疑问：在接下来的五年里，人工智能是否有可能在编程这一领域完全胜过人类程序员？欢迎各位在评论区留下你们的观点，同时别忘了点赞并转发这篇文章！
版权说明：本文章为昆明鱼豆网所有，未经允许不得转载。
