Skip to content

大模型面试宝典

Main Navigation 首页面试高频题全书目录 GitHub 原仓库

Appearance

Sidebar Navigation

首页

面试高频题（题解）

RAG 面试高频 160 题

Agent 面试高频 100 题

强化学习后训练（RL Post-Training）面试高频 120 题

Hermes Agent 面试高频 100 题

Loop Engineering 面试高频 100 题

知识图谱 GraphRAG 面试高频 100 题

目标检测与机器视觉面试高频 100 题

全书目录索引

大模型基础与训练

一、大模型（LLMs）基础面

大模型（LLMs）基础面

FFN前馈神经网络篇

跨注意力机制（Cross-Attention）篇

Attention 升级面

LLMs 损失函数篇

transformers 操作篇

LLMs 激活函数篇

相似度函数篇

Layer normalization 篇

二、大模型（LLMs）进阶面

大模型（LLMs）进阶面

八、增量预训练篇

大模型（LLMs）增量预训练篇

基于lora的llama2二次预训练

增量预训练（Pretrain）样本拼接篇

九、大模型（LLMs）评测面

大模型（LLMs）评测面

十一、训练集面

大模型（LLMs）LLM生成SFT数据方法面

大模型数据集汇总

大模型（LLMs）训练集面

十二、显存问题面

显存优化策略篇

大模型（LLMs）显存问题面

十三、分布式训练面

图解分布式训练（五） —— AMP混合精度训练详细解析

图解分布式训练（二） —— nn.DataParallel

图解分布式训练（三） —— nn.parallel.DistributedDataParallel

分布式训练 Trick 汇总篇

Megatron-LM 篇

图解分布式训练（一） —— 流水线并行（Pipeline Parallelism）

图解分布式训练（八）—— ZeRO 学习

图解分布式训练（七）—— accelerate 分布式训练详细解析

图解分布式训练（六）—— Pytorch的 DeepSpeed 详细解析

大模型分布式训练故障恢复篇

图解分布式训练（四） —— torch.multiprocessing 详细解析

大模型（LLMs）分布式训练面

pytorch 分布式计算坑/bug 梳理篇

微调与对齐

三、大模型（LLMs）微调面

LLMs 训练经验帖

大模型（LLMs）微调面

SFT Trick 篇

全参数微调LLaMA-2-70B 经验帖

六、参数高效微调（PEFT）面

适配器微调（Adapter-tuning）篇

LoRA 系列常见面试题篇

如何使用 PEFT库中 LoRA？

使用 LoRA 对大模型进行高效参数微调

提示学习（Prompting）

Prompting trick 篇

muti-lora实现多任务统一推理

大模型（LLMs）参数高效微调(PEFT) 面

SFT 对比篇

十、强化学习面

RLHF平替算法DPO篇

大模型（LLMs）强化学习—— PPO 面

大模型（LLMs）强化学习——RLHF及其变种面

强化学习在自然语言处理下的应用篇

大模型（LLMs）强化学习面

reward 篇

二十二、MOE 篇

MOE大模型对比篇

MOE（Mixture-of-Experts）篇

MoE 大模型负载均衡策略演进的回顾

二十三、蒸馏篇

大模型蒸馏篇

自定义 CUDA 函数的轻量级包装器 —— bitsandbytes篇

介绍 GPTQ、GGUF、GGML、PTQ、QAT、AWQ、AQLM 各种量化方法，以及区别是啥？

LLMs 浮点数篇

推理与部署

七、大模型（LLMs）推理面

大模型加载 Trick

大模型长上下文篇

大模型（LLMs）推理面

LLMs 大模型推理优化篇

十七、推理加速篇

LLMs 推理性能面

大模型（LLMs）推理加速篇

大模型(LLM)部署框架对比篇

大模型(LLM)部署框架对比

大模型推理优化策略篇

SwiftInfer —— 大模型无限流式输入推理飙升46%，打破多轮对话长度限制

纯Python超轻量高性能LLM推理框架 —— LightLLM

LLM推理技术之StreamingLLM：如何拥有无限长生成能力

LLM（大语言模型）部署加速方法——PagedAttention篇

大模型推理加速工具 —— vLLM

大规模分布式训练框架Megatron-LM面

LLM（大语言模型）部署加速方法——Faster Transformer篇

二十四、软硬件配置面

大模型（LLMs）软硬件配置面

二十五、Token及模型参数准备篇

Token及模型参数准备篇

二十九、KV Cache 篇

从多头共享到潜变量：MLA在低秩投影与按需解压中重新定义 KV-Cache 存储

index

大模型推理加速——KV Cache篇

KV-Cache 面试参考题篇

大模型如何实现超长多轮对话？ https://www.zhihu.com/question/646184656/answer/63367497262

RAG 与 Agent

四、LangChain 面

多轮对话中让AI保持长期记忆的8种优化方式篇

基于langchain RAG问答应用实战

大模型（LLMs）langchain 面

五、RAG 检索增强生成面

大模型 RAG 经验面

大模型（LLMs）RAG —— 关键痛点及对应解决方案

大模型（LLMs）RAG 优化策略 —— RAG-Fusion篇

检索增强生成(RAG) 优化策略篇

RAG（Retrieval-Augmented Generation）评测面

大模型外挂知识库优化——如何利用大模型辅助召回？

大模型外挂知识库优化——负样本样本挖掘篇

RAG（Retrieval-Augmented Generation）面

Self-RAG 篇

大模型（LLMs）RAG 版面分析——文本分块面

大模型（LLMs）RAG 版面分析——表格识别方法篇

LLM文档对话 —— pdf解析关键问题

Graph RAG（Retrieval-Augmented Generation）面 —— 一种基于知识图谱的大模型检索增强实现策略

知识图谱增强的RAG(KG-RAG) 篇

十四、Agent 面

大模型（LLMs）agent 面

开源模型 Function Call 篇

函数调用 Function Call 篇

RAG 面试高频 160 题 · 图文详解

大模型面试RAG篇（一）——RAG核心概念与流程

大模型面试RAG篇（二）——分块策略 15 问全解析

大模型面试RAG篇（三）——面试官问Embedding，这10个坑你可别踩

Agent 面试高频 100 题 · 图文详解

大模型 Agent 面试高频100题——基础篇

大模型 Agent 面试高频100题——基础篇

RL 后训练面试高频题 · 图文详解

大模型强化学习后训练（RL Post-Training）面试高频题——PPO 深度解析

大模型强化学习后训练（RL Post-Training）面试高频题——基础概念

大模型强化学习后训练（RL Post-Training）面试高频题——DPO 深度解析

Hermes Agent 专题 · 图文详解

Harness Engineering 高频题-Harness 核心机制

Hermes Agent 面试高频题——Harness Engineering 基础概念

Prompt 与模型能力

十五、位置编码篇

LLM面面观之LLM上下文扩展方案

LLMs 位置编码篇

旋转式位置编码 (RoPE) 资料收集

十六、Tokenizer 篇

怎么让英文大语言模型支持中文？（一） —— 构建中文tokenization

怎么让英文大语言模型支持中文？（二） —— 继续预训练篇

怎么让英文大语言模型支持中文？（三） —— 对预训练模型进行指令微调

LLMs Tokenizer 常见面试篇

十八、幻觉（Hallucination）面

大语言模型的32种消除幻觉的技术，你都了解吗？

大模型幻觉（LLM Hallucination）面

大模型的幻觉问题

如何缓解大模型幻觉？

十九、LLMs 对比篇

大模型-attention mask 篇

GPT 经验篇

LLaMA 常见面试题篇

LLMs 对比篇

百川智能baichuan7B、13B、53B、baichuan2 总结篇

二十、思维链（COT）篇

思维链 Chain-of-Thought（COT）变体篇

思维链 Chain-of-Thought（COT）

小样本提示学习篇

二十一、测试集数据泄露篇

LLMs 测试集中数据泄露问题篇

前沿专题

二十六、多模态常见面试篇

多模态常见面试篇

InstructBLIP(Instruction Tuning)

MiniGPT-4 篇

LLaVA（Large Language and Vision Assistant）

BLIP2（Bootstraping language image pre-training）

CLIP (Contrastive Language-Image Pre-training)面试篇

BLIP（Bootstraping language image pre-training）

VIT：Transformer视觉表征

二十七、NLP 常见面试篇

命名实体识别常见面试篇

NLP Trick 篇

文本分类常见面试篇

文本摘要常见面试篇

向量检索常见面试篇

二十八、其他常见面试篇

LLMs 其他 Trick

pytorch 开发坑/bug 梳理篇

三十、角色扮演大模型篇

大模型——角色扮演大模型篇

三十一、Chat o1 篇

OpenAI o1 面试篇

千面郎君篇（三十一章）—— OpenAI o1 篇

Scaling LLM Test-Time：谁说类o1推理一定要用RL?

三十二、DeepSeek-R1 百问百搭篇

DeepSeek-R1 百问百搭-GRPO（Group Relative Policy Optimization）篇

deepseek问题

DeepSeek-R1 百问百搭-DeepSeek-R1-Zero 篇

DeepSeek-R1 百问百搭-DeepSeek-R1篇

DeepSeek-R1 百问百搭

DeepSeek-R1 论文解读

三十三、推理大模型面

推理大模型面

三十五、MCP 百问百搭篇

Function Call 面试常考题篇

MCP、API 与 Function Call 傻傻分不清篇

8种主流Agent框架如何使用MCP

手把手教 MCP 实现

MCP 模型上下文协议（Model Context Protocol）常考题篇

三十六、上下文工程 Context Engineering 篇

上下文工程 Context Engineering：一文读懂重塑大模型智能系统的技术革命

为什么说大模型训练很难？

极致炼丹术：对“小”的大模型的优化重新思考

三十四、Kimi1.5 篇

kimi1.5 论文研读

本页目录

LLM面面观之LLM上下文扩展方案

致谢

LLM面面观之LLM上下文扩展方案 https://zhuanlan.zhihu.com/p/679147878

Pager

上一篇Hermes Agent 面试高频题——Harness Engineering 基础概念

下一篇LLMs 位置编码篇