微软最近的研究集中在通过模仿学习来提高较小模型的能力，利用大型基础模型（LFMs）产生的输出。许多问题影响这些模型的质量，从来自浅LFM输出的有限模仿信号；小规模同质训练数据；最明显的是缺乏严格的评估，导致高估了小模型的能力，因为他们倾向于学习模仿风格，而不是LFM的推理过程。

为了解决这些挑战，微软开发了 Orca，一个130亿美元的参数模型，可以学习模拟lfm的推理过程。Orca从GPT-4的丰富信号中学习，包括解释痕迹；一步一步的思维过程；以及其他复杂的指令，由ChatGPT的老师指导。为了促进这种渐进式学习，微软利用明智的抽样和选择来获取大规模和多样化的模仿数据。在复杂的零射击推理基准（BBH）中，Orca比传统的最先进的指令调优模型，如Vicuna-13B上超过了100%，在AGIEval上超过了42%。此外，Orca在BBH基准上与ChatGPT持平，并在SAT、LSAT、GRE和GMAT等专业和学术考试中表现出竞争力（与优化系统信息差距4分），都是在没有CoT的零射击设置中而落后于GPT-4。

研究表明，从循序渐进的解释中学习，无论这些解释是由人类还是更先进的人工智能模型生成的，都是提高模型能力和技能的一个很有前途的方向。

paper下载

微软推出的免费人工智能入门课 | AI-For-Beginners

共8个主题、24节内容。 课程除了为每个主题绘制「知识要点漫画」外，还包括多样性的测验和实践项目，确保学习者有机会进行实践。课程思维导图可以清晰地查看每部分的知识要点。

一位从安全小白成长为安全研究员的经验总结。

文中分享了大量学习资料、安全工具和创作者推荐。| 传送门