Hello World — 我的第一篇博客
欢迎来到我的技术博客！这里将记录我在编程、架构和日常开发中的思考与实践。
Generated · Geek Style
RSS 订阅
RSS 订阅
通过 RSS 订阅，第一时间获取最新文章和动态
RSS 链接
复制链接到你的 RSS 阅读器
https://fzy.it.com/rss.xml
最新文章
从单机到集群：分布式爬虫后端架构设计指南
设计一套完整的分布式爬虫系统——任务队列派发、VPS 集群执行、Kafka 数据总线分发、多数据库(MySQL/MongoDB/ES/Doris/Redis)各司其职，包含故障处理和容错设计。
Scrapy 架构深度解析：每个文件在框架中扮演什么角色
以 PDF 批量下载项目为实例，逐文件拆解 Scrapy 项目结构（settings.py、spider、middlewares、pipelines、items），解释引擎-调度器-下载器-爬虫-管道五层架构的协作原理。
用 Scrapy 批量下载网站 PDF：从 14 个索引页到 3176 份文件
从多个 HTML 索引页面出发，递归爬取目标域名下的所有 PDF 文件，最终下载 3176 个 PDF（1.8GB）。详解 Scrapy 爬虫设计思路、Content-Type 过滤、非 HTML 扩展名跳过、JOBDIR 持久化等实战技巧。
从零构建 Google Trends 爬虫 API：单文件架构的工程实践
详解一个基于 Flask + Playwright 的 Google Trends 热搜数据采集服务，涵盖双解析策略降级、指数退避重试、Pending 离线缓存、假成功防御等生产级工程实践。
全异步 Yahoo 热门新闻爬虫：模块化架构与三路数据输出实践
详解一个基于 Python asyncio + Playwright + Kafka 的 Yahoo Trending 新闻爬虫，涵盖双引擎降级策略、7种选择器链、asyncio 与同步 requests 混用方案，以及本地 JSON、Kafka、ODS 三路并行数据输出设计。
什么是 RSS？
RSS（Really Simple Syndication）是一种用于发布经常更新内容的标准格式。通过 RSS，你可以：
- 及时获取网站最新内容，无需手动访问
- 在一个地方管理多个网站的订阅
- 避免错过重要更新和文章
- 享受无广告的纯净阅读体验
推荐使用 Feedly、Inoreader 或其他 RSS 阅读器来订阅本站。