大语言模型（LLM）面试必备50问 | #面试 | 原文
2025年最新AI面试指南，帮你系统掌握LLM核心知识与技术细节。
1. Tokenization：将文本拆分为词、子词或字符，是LLM处理文本的基础，保障多语言支持与计算效率。
2. Attention机制：通过计算query、key、value的相似度，动态聚焦上下文关键部分，提升理解与生成能力。
3. Context window：模型一次能处理的最大token数，直接影响文本连贯性与计算资源消耗。
4. LoRA vs QLoRA：低秩适配技术中，QLoRA引入量化，极大节省显存，实现大模型单卡微调。
5. Beam search：保留多条高概率候选路径，生成文本更流畅优质，优于贪心解码。
6. Temperature调节输出随机性，平衡创造力与准确性。
7. Masked Language Modeling（MLM）：随机遮蔽训练，提升模型双向语义理解，如BERT。
8. Seq2Seq模型：编码器-解码器架构，广泛用于翻译、摘要与对话生成。
9. Autoregressive vs Masked模型：分别适合生成和理解任务，训练目标决定模型能力。
10. Embeddings：密集向量表征词语语义，训练中不断优化。
11. Next Sentence Prediction（NSP）：训练模型判断句子连贯性，增强语篇理解。
12. Top-k与Top-p采样：控制生成文本多样性和连贯性。
13. Prompt Engineering：设计有效提示，提升无监督任务表现。
14. 防止灾难性遗忘：混合训练数据、权重约束、模块化架构等策略保障知识持续性。
15. Model Distillation：通过教师-学生模型传递知识，压缩模型体积同时保留性能。
16. 处理OOV词：利用子词分解保证对新词的理解。
17. Transformer优势：并行计算、长距离依赖捕捉、位置编码带来性能飞跃。
18. 避免过拟合：正则化、Dropout、早停等技巧确保泛化能力。
19. 生成式与判别式模型：前者擅长文本生成，后者专注分类任务。
20. GPT-4升级：支持多模态输入，超大上下文窗口，准确率提升。
21-25. 位置编码、多头注意力、softmax、点积自注意力、交叉熵损失等核心技术详解。
26-31. 梯度计算、Jacobian矩阵、PCA降维、KL散度、ReLU导数、链式法则——深层理解模型训练机制。
32-40. Transformer注意力计算、Gemini多模态训练、基础模型类型、PEFT微调、RAG检索增强生成、专家混合模型、Chain-of-Thought推理、知识图谱集成等前沿技术。
41-50. 零样本与少样本学习、Adaptive Softmax优化、梯度消失对策、偏见修正、编码器解码器区别、传统统计模型比较、超参数调优、LLM定义与部署挑战（资源消耗、偏见、可解释性、隐私）全面覆盖。
2025年最新AI面试指南，帮你系统掌握LLM核心知识与技术细节。
1. Tokenization：将文本拆分为词、子词或字符，是LLM处理文本的基础，保障多语言支持与计算效率。
2. Attention机制：通过计算query、key、value的相似度，动态聚焦上下文关键部分，提升理解与生成能力。
3. Context window：模型一次能处理的最大token数，直接影响文本连贯性与计算资源消耗。
4. LoRA vs QLoRA：低秩适配技术中，QLoRA引入量化，极大节省显存，实现大模型单卡微调。
5. Beam search：保留多条高概率候选路径，生成文本更流畅优质，优于贪心解码。
6. Temperature调节输出随机性，平衡创造力与准确性。
7. Masked Language Modeling（MLM）：随机遮蔽训练，提升模型双向语义理解，如BERT。
8. Seq2Seq模型：编码器-解码器架构，广泛用于翻译、摘要与对话生成。
9. Autoregressive vs Masked模型：分别适合生成和理解任务，训练目标决定模型能力。
10. Embeddings：密集向量表征词语语义，训练中不断优化。
11. Next Sentence Prediction（NSP）：训练模型判断句子连贯性，增强语篇理解。
12. Top-k与Top-p采样：控制生成文本多样性和连贯性。
13. Prompt Engineering：设计有效提示，提升无监督任务表现。
14. 防止灾难性遗忘：混合训练数据、权重约束、模块化架构等策略保障知识持续性。
15. Model Distillation：通过教师-学生模型传递知识，压缩模型体积同时保留性能。
16. 处理OOV词：利用子词分解保证对新词的理解。
17. Transformer优势：并行计算、长距离依赖捕捉、位置编码带来性能飞跃。
18. 避免过拟合：正则化、Dropout、早停等技巧确保泛化能力。
19. 生成式与判别式模型：前者擅长文本生成，后者专注分类任务。
20. GPT-4升级：支持多模态输入，超大上下文窗口，准确率提升。
21-25. 位置编码、多头注意力、softmax、点积自注意力、交叉熵损失等核心技术详解。
26-31. 梯度计算、Jacobian矩阵、PCA降维、KL散度、ReLU导数、链式法则——深层理解模型训练机制。
32-40. Transformer注意力计算、Gemini多模态训练、基础模型类型、PEFT微调、RAG检索增强生成、专家混合模型、Chain-of-Thought推理、知识图谱集成等前沿技术。
41-50. 零样本与少样本学习、Adaptive Softmax优化、梯度消失对策、偏见修正、编码器解码器区别、传统统计模型比较、超参数调优、LLM定义与部署挑战（资源消耗、偏见、可解释性、隐私）全面覆盖。
