该基准测试包括800个Python函数和输入输出对,最佳模型GPT-4在CRUXEval-I和CRUXEval-O上的pass @ 1 分别达到67%和63%。尽管Code Llama 34B等模型在大量代码数据上进行了训练,但仅达到了47%和44%的准确率。
该基准测试强调了代码推理能力的重要性,并鼓励未来的代码语言模型评估考虑CRUXEval。
[技术栈]
前后端:Next.js+Tailwind+Prisma
登录:Next-Auth
支付:Lemon Squeezy
部署:Vercel
你可以基于这个项目快速开发自己的SaaS产品。
工作原理:该项目使用ChatGPT API和具有流功能的Vercel Al SDK。它基于表单和用户输入构建提示,将其发送至ChatGPTAPI通过Vercel边缘函数,然后将响应流式传输回应用程序界面。