用 AI 准备技术面试：20 道数据库与大数据的完整面经

主从复制的原理？ — 主库写 binlog，从库 I/O 线程拉取写入 relay log，SQL 线程重放。延迟原因：单线程回放、大事务、从库配置低。解决方法：并行复制、拆大事务、硬件一致。

SQLAdvisor 的局限性和慢查询排查？ — Advisor 基于当前数据分布、只针对单条 SQL、联合索引顺序需人工判断。排查步骤：开启慢日志 → pt-query-digest → EXPLAIN → 加索引或改写 SQL。

mysqldump 和 XtraBackup 的对比？ — mysqldump 是逻辑备份（SQL 语句），适合百 G 以下小库；XtraBackup 是物理备份（拷贝数据文件），支持热备，适合大库。

Keepalived + HAProxy 的高可用方案？ — HAProxy 用 mysql-check 健康检查自动摘除宕机节点，Keepalived 做 VIP 漂移保证 HAProxy 自身高可用。双 VIP 常用于读写分离。

Doris 和 MySQL 的核心区别？ — MySQL 行存 + B+Tree 适合 OLTP，Doris 列存 + MPP 架构适合 OLAP。三种数据模型：Aggregate / Unique / Duplicate Key。

Kettle 和 DataX 的适用场景？ — 复杂清洗用 Kettle（GUI 拖拽），批量大数据同步用 DataX（命令行 + channel 并发）。Kettle 的转换是并行流水线，作业是串行编排器。

Maxwell CDC 和 Canal 的对比？ — Maxwell 轻量，直接输出 JSON 到 Kafka；Canal 更灵活但依赖 ZK。简单场景用 Maxwell，复杂场景用 Canal。

HTTPS 握手流程？ — Client Hello → Server Hello + 证书 → 验证证书链 → 生成预主密钥 → 计算对称密钥 → 加密通信。

断点续传和数据库崩溃的一致性保证？ — JSON 持久化进度 + UPSERT 幂等入库 + 事务。关键：先写 JSON 再入库。

pytesseract 和 ddddocr 分别适合什么验证码？ — Tesseract 适合清晰规整的验证码（需 OpenCV 预处理），ddddocr 内置 AI 模型适合扭曲粘连的验证码。

Hive 分区表和分桶表的区别？ — 分区按目录切分适合时间过滤，分桶按哈希分布适合 JOIN 和采样。项目策略：年月日三层分区 + 银行编码 32 桶。

Sqoop 增量同步时表结构变了怎么办？ — 用 Avro 支持 schema evolution，或先 ALTER Hive 表再同步。最佳实践：监控 MySQL DDL，自动触发 Hive 表结构更新。

MapReduce 和 Spark Shuffle 的区别？ — MR 强制磁盘排序 + 必须写磁盘，Spark 内存优先 + 可选不排序。Spark 2.0+ 默认 SortShuffleManager。

Flume + Kafka + Spark Streaming 的 Exactly-Once 保证？ — 三段保证：Flume File Channel + acks=all → Kafka idempotent → 下游 UPSERT 去重。务实做法：At-Least-Once + 业务幂等 ≈ Exactly-Once。

DolphinScheduler 和 Azkaban 的对比？ — DS 去中心化、功能全面、原生高可用；Azkaban 中心化、简单轻量。DAG 依赖冲突排查：看日志 → 检查扇入冲突 → 避免循环依赖 → 补数重跑。

requests 的 Session 和普通 get 的区别？ — Session 维护持久连接池复用 TCP 连接，减少三次握手开销，自动管理 Cookie 和 Header。

IP 代理池失效怎么降级？429 怎么应对？ — 分级降级（高匿 → 透明 → 付费 → 直连）+ 指数退避重试 + Retry-After 自适应等待。

多源 API 数据格式不一致怎么统一？ — Adapter 模式，每个数据源写一个 BaseAdapter 子类，YAML 管理字段映射，新源接入零改已有代码。

文档向量化时切分策略和表格处理？ — RecursiveCharacterSplitter + chunk_size=500 + overlap=50。表格作为独立 Chunk，用 pdfplumber 提取后转为 Markdown。

Dify 知识库的增量 vs 全量更新策略？ — 新增/修改用增量，结构变更用全量，每周定期全量重建 + 更新后做召回率对比。