同花顺股票数据爬虫
前言同花顺是国内最受欢迎的金融数据平台之一，其”问财”和行情中心提供了全面的A股、港股、美股等市场数据。对于量化交易爱好者、金融数据分析师来说，能够自动化获取这些数据是非常有价值的技能。 然而...
12306火车票查询爬虫全流程
前言每逢节假日，12306购票难一直是大家头疼的问题。虽然官方提供了完整的购票系统，但有时候我们只需要查询余票信息，而不需要登录和购票。本文将带你从零开始，实现一个完整的12306火车票查询爬...
B站视频弹幕爬取实战
前言B站（哔哩哔哩）作为国内最大的弹幕视频网站，其弹幕文化一直是平台的核心特色。无论是为了做舆情分析、情感分析，还是仅仅想保存某视频的弹幕留作纪念，掌握B站弹幕的爬取方法都是一项非常实用的技能...
鱼皮面试鸭面试题爬虫：从API接口到批量数据采集
前言在准备Java面试的过程中，拥有一个全面、结构化的面试题库是非常重要的。鱼皮开发的”面试鸭”平台聚合了大量优质面试题，涵盖Java基础、并发、Spring、MySQL、Redis等核心技术...
淘宝商品评论爬虫：JSONP解析与DrissionPage API监听实战
前言淘宝作为国内最大的电商平台，其商品评论数据对于选品分析、竞品研究、舆情监控等场景至关重要。然而，淘宝的反爬机制非常复杂，评论数据通过 JSONP 格式返回，且涉及签名验证、Cookie 管...
京东商品评论爬虫（Selenium模拟浏览器+多线程）
前言京东作为国内最大的电商平台之一，其商品评论数据对于竞品分析、用户舆情监控、商品推荐算法训练等场景都具有极高的价值。然而，京东的评论数据并不像12306或B站那样可以通过简单的API直接获取...
B站视频评论区爬虫
前言弹幕是B站特色的实时评论，而评论区则是用户深度讨论的阵地。无论是为了做舆情监控、用户情感分析，还是训练NLP模型，B站评论区的数据都具有极高的价值。 本文基于真实项目代码，详细介绍如何使用...
B站获取关注UP主列表与去重：Cookie认证与分页API全解析
前言B站（Bilibili）是国内最大的弹幕视频社区，用户关注的UP主列表包含了个人订阅偏好信息。在某些场景下，我们可能需要导出自己关注的UP主列表——比如迁移账号、备份关注列表、或者分析自己...
抖音视频评论爬取：逆向分析Web端评论接口
前言抖音作为国内最大的短视频平台，每天产生海量的用户评论数据。这些评论数据对于舆情分析、用户画像、产品反馈等场景具有重要价值。然而，抖音的反爬机制非常严格，涉及到参数签名、设备指纹、Cooki...
闲鱼商品爬虫与多线程链接刷新：MD5签名逆向与浏览器自动化实战
前言闲鱼（Goofish）作为阿里旗下的二手交易平台，汇聚了大量个人卖家和商品数据。对于二手商品比价、市场行情分析来说，闲鱼的数据极具价值。然而，闲鱼的搜索接口使用 MD5 签名验证，且签名参...