Python 移动端爬虫与自动化全链路实战

手把手跑通采集--解析--存储--分析，助你从“ 小白 ”变身“ App 数据挖掘高手 ”

已完结难度初级时长 36小时学习人数 68 综合评分 10.00

立即购买加购物车

第1章课程导学试看 1 节 | 8分钟

课程概览

收起列表
- 视频： 1-1 你的APP数据掘金之路，从这里正式开始 (07:16) 试看
第2章移动端爬虫项目分析 8 节 | 42分钟

本章将介绍课程贯穿项目的项目需求分析与技术选型，、技术框架、项目规模及模块划分。通过分析核心工具（如Appium、mitmproxy、Streamlit）的选型依据，帮助学员理解项目架构设计的关键点。同时，概述项目的功能模块、开发流程及可能遇到的技术挑战。后续课程各阶段会逐步完成项目各个部分...

收起列表
- 图文： 2-1 先给项目，再给刀法：移动端爬虫的“逆向”学习法
- 视频： 2-2 项目效果展示&需求分析 (03:17) 试看
- 视频： 2-3 项目规模说明：开发范围与复杂度概述 (02:37)
- 视频： 2-4 模块划分与功能：核心模块及其作用 (04:56)
- 视频： 2-5 项目架构设计：模块协作与流程解析 (05:15) 试看
- 视频： 2-6 技术难点解析：关键问题与解决方案 (13:34)
- 视频： 2-7 移动端爬虫技术选型：核心工具解析 (06:30)
- 视频： 2-8 技术规模与成熟度：工具生态与稳定性分析 (05:31)
第3章项目环境搭建，打通各类环境的作用与关联 5 节 | 38分钟

本章将带领你从零开始搭建高效的开发环境，涵盖开发工具的安装与配置，为后续的自动化测试和数据分析打下坚实基础。通过学习，你将掌握环境配置的核心步骤，解决开发环境中的常见问题，确保后续学习与实践的顺利进行。...

收起列表
- 视频： 3-1 开发环境搭建：从零开始配置高效开发工具 (11:40)
- 图文： 3-2 开发环境安装说明
- 视频： 3-3 安卓模拟器安装：快速部署虚拟测试设备 (06:55)
- 视频： 3-4 安卓模拟器设备联调：实现模拟器与开发环境的无缝对接 (07:06)
- 视频： 3-5 USB调试真实安卓手机：连接真实设备进行高效测试 (11:45)
第4章移动端爬虫必备自动化工具Appium初探 4 节 | 27分钟

本章将详细介绍Appium这一移动端自动化的核心工具，包括其工作原理、优势及应用场景。通过学习，你将全面了解Appium在移动端爬虫实现中的重要性，为后续的操作学习和实战项目奠定理论基础。

收起列表
- 视频： 4-1 Appium 简介：移动端爬虫的核心工具解析 (04:52)
- 视频： 4-2 Appium 安装与配置：快速搭建移动端爬虫开发环境 (09:58)
- 视频： 4-3 Appium 架构介绍：深入理解Appium的工作机制 (04:16)
- 视频： 4-4 Android界面布局工具：Appium-Inspector安装和测试 (07:01)
第5章熟悉Appium的常用操作，实现与移动端应用界面的自动化交互 11 节 | 139分钟

本章将深入讲解Appium的核心操作技能，包括元素定位、点击、输入、滚动等基础操作，以及手势操作和多点触控等高级功能。通过学习，你将掌握Appium的常用操作方法，轻松实现与移动端应用界面的自动化交互

收起列表
- 视频： 5-1 ID定位：基于属性ID，静态页面首选.pptx (08:32)
- 视频： 5-2 XPath定位：XML路径表达式，支持动态元素 (13:22)
- 视频： 5-3 Accessibility ID：移动端及无障碍优化 (07:01)
- 视频： 5-4 Class定位：批量定位同类元素 (13:29)
- 视频： 5-5 CSS定位：语法简洁，性能优异 (17:29)
- 视频： 5-6 Link定位：完全匹配超链接文本 (06:18)
- 视频： 5-7 Partial Link：模糊匹配链接片段 (09:53)
- 视频： 5-8 点击操作：显式等待确保可交互 (17:03)
- 视频： 5-9 文本输入：处理虚拟键盘与加密输入 (21:04)
- 视频： 5-10 清除文本：快速清理输入框内容的操作方法 (07:34)
- 视频： 5-11 获取元素属性：提取UI核心值的实用技巧 (16:31)
第6章掌握Appium的内置功能，提升爬虫的开发效率和稳定性 9 节 | 155分钟

本章将全面解析Appium的内置功能，包括应用管理、设备控制、日志记录等高级功能。通过学习，你将掌握如何利用Appium的内置工具提升效率，优化自动化流程，提高稳定性。

收起列表
- 视频： 6-1 长按与拖拽：复合手势链式触发核心技术 (27:46)
- 视频： 6-2 智能滚动策略：动态加载与边界自适应控制逻辑 (16:48)
- 视频： 6-3 多点触控同步：多指坐标映射 (1) (21:11)
- 视频： 6-4 多点触控同步：多指坐标映射 (2) (21:32)
- 视频： 6-5 应用生命周期控制：冷热启动与后台资源调度策略 (07:46)
- 视频： 6-6 多任务切换逻辑：进程栈管理与应用上下文保活方案 (07:57)
- 视频： 6-7 屏幕帧捕获技术：渲染层截取与界面状态同步机制 (19:17)
- 视频： 6-8 通知栏操控模拟：折叠式消息响应与权限穿透方案 (19:17)
- 视频： 6-9 虚拟定位引擎：地理围栏漂移与多源定位融合策略 (13:20)
第7章爬虫项目之移动端短视频实战【Appium关联实战】 6 节 | 117分钟

本章将通过实战项目，带你将Appium的所学知识应用到真实场景中。你将学习如何设计自动化用例，解决实际问题，并掌握从脚本编写到结果分析的全流程技能。

收起列表
- 视频： 7-1 移动端实战Part01：热门视频信息采集方案解析 (16:23)
- 视频： 7-2 Appium与XPath协同实现视频元数据高效采集（1） (25:16)
- 视频： 7-3 Appium与XPath协同实现视频元数据高效采集（2） (25:09)
- 视频： 7-4 本地数据库构建：关系型数据库部署与应用实践 (21:26)
- 视频： 7-5 数据存储对接：批量数据入库与事务管理机制 (16:39)
- 视频： 7-6 自动化流程优化：滑动加载与防检测机制集成 (11:31)
第8章熟悉app爬虫神器--MitmProxy核心功能，掌握网络数据获取的关键技能 20 节 | 278分钟

本章将介绍MitmProxy这一强大的app爬虫神器，包括其核心功能、应用场景及与其他抓包工具的对比。通过学习，你将了解MitmProxy在网络调试、数据分析中的重要作用的同时，提升抓包技能和对代理网络请求的理解

收起列表
- 视频： 8-1 mitmproxy 核心原理：中间人攻击与流量解密机制 (09:43)
- 视频： 8-2 组件架构解析：命令行Web界面脚本引擎协同工作 (04:23)
- 视频： 8-3 代理工具对比评测：FiddlerCharlesWireshark功能差异 (08:09)
- 视频： 8-4 环境快速部署：跨平台安装与依赖配置指南 (05:22)
- 视频： 8-5 HTTPS解密原理：CA证书生成与信任链配置 (15:47)
- 视频： 8-6 代理策略定制：正向透明反向代理模式实战 (16:24)
- 视频： 8-7 代理证书配置：Windows、macOS、Linux环境适配 (18:40)
- 视频： 8-8 服务启动方案：命令行、Web界面、脚本集成模式 (04:00)
- 视频： 8-9 流量捕获技术：HTTP、HTTPS实时监听与协议解析 (12:36)
- 视频： 8-10 请求深度解析：Header、Body、Cookie结构拆解（1） (15:08)
- 视频： 8-11 请求深度解析：Header、Body、Cookie结构拆解（2） (14:03)
- 视频： 8-12 请求篡改技术：Header、Body动态编辑策略（1） (14:01)
- 视频： 8-13 请求篡改技术：Header、Body动态编辑策略（2） (11:37)
- 视频： 8-14 响应模拟方案：状态码内容实时替换技术（1） (14:21)
- 视频： 8-15 响应模拟方案：状态码内容实时替换技术（2） (13:14)
- 视频： 8-16 流量筛选机制：正则表达式与逻辑运算符实战 (17:26)
- 视频： 8-17 高效检索方案：多条件组合搜索技巧 (27:08)
- 视频： 8-18 流量阻断控制：断点调试与条件拦截策略 (15:39)
- 视频： 8-19 请求重放机制：定时、批量重放测试（1） (20:20)
- 视频： 8-20 请求重放机制：定时、批量重放测试（2） (19:42)
第9章掌握MitmProxy的核心组件应用，增强爬虫开发的灵活性 7 节 | 110分钟

本章将深入讲解MitmProxy的核心组件及其使用方法，包括代理配置、请求拦截、流量修改等高级功能。通过学习，你将掌握如何利用MitmProxy实现定制化的网络抓包方案，增强移动端爬虫开发的灵活性

收起列表
- 视频： 9-1 mitmdump实战指南：命令行高效流量分析（1） (16:10)
- 视频： 9-2 mitmdump实战指南：命令行高效流量分析（2） (17:12)
- 视频： 9-3 mitmweb应用解析：Web界面可视化操作实践 (13:47)
- 视频： 9-4 网络监控全链路：实时流量捕获与诊断技术（1） (14:55)
- 视频： 9-5 网络监控全链路：实时流量捕获与诊断技术（2） (16:34)
- 视频： 9-6 数据解析实战：抓包数据多维建模与特征提取（1） (17:13)
- 视频： 9-7 数据解析实战：抓包数据多维建模与特征提取（2） (13:11)
第10章提升MitmProxy的高阶开发能力，拓展爬虫开发的适应性及安全性 11 节 | 125分钟

本章将讲解MitmProxy高阶开发相关知识。你将学习如何基于mitmproxy进行二次开发及完成自定义，提升爬虫开发能力

收起列表
- 视频： 10-1 移动端爬虫技巧：抓包技术解析与案例 (11:56)
- 视频： 10-2 安全分析与漏洞挖掘：抓包工具的安全审计应用 (06:55)
- 视频： 10-3 数据抓取实践：抓包技术在爬虫中的核心应用 (14:23)
- 视频： 10-4 插件开发实战指南：mitmproxy功能扩展技巧 (05:57)
- 视频： 10-5 mitmproxy插件开发：基础流程与实践（1） (19:49)
- 视频： 10-6 mitmproxy插件开发：基础流程与实践（2） (19:47)
- 视频： 10-7 安全风险防范：抓包工具合规操作指南 (07:47)
- 视频： 10-8 HTTPS证书信任：常见问题与解决方案 (08:04)
- 视频： 10-9 代理连接故障诊断：问题定位与修复策略 (10:45)
- 视频： 10-10 性能调优策略：抓包工具高效运行方法 (06:29)
- 视频： 10-11 实战场景解析：抓包工具的多领域应用 (13:07)
第11章爬虫项目之移动端短视频实战【短视频热门话题视频采集与存储技术全链路解析】 12 节 | 233分钟

系统性拆解从接口逆向到数据落地的完整技术链路。通过接口逆向工程破解短视频API请求逻辑，结合参数动态解析实现视频列表精准捕获，并深入讲解元数据提取、直链定位等关键技术点，最终完成视频文件自动化存储优化。

收起列表
- 视频： 11-1 移动端实战Part02：实时视频流动态采集方案 (11:37)
- 视频： 11-2 短视频API逆向工程：请求参数捕获与接口分析 (24:47)
- 视频： 11-3 接口参数逆向：视频列表关键字段解析技术 (12:25)
- 视频： 11-4 元数据解析：标题作者点赞数据精准提取 (16:59)
- 视频： 11-5 资源定位技术：直链与封面地址高效解析 (23:28)
- 视频： 11-6 分布式存储架构：基于MinIO的私有化部署 (22:25)
- 视频： 11-7 高效处理：异步处理数据和视频下载（1） (32:02)
- 视频： 11-8 高效处理：异步处理数据和视频下载（2） (03:24)
- 视频： 11-9 高效存储：基于MinIO的短视频存储方案（1） (19:17)
- 视频： 11-10 高效存储：基于MinIO的短视频存储方案（2） (18:18)
- 视频： 11-11 适合抓直播哟：基于HLS的视频流存储方案（1） (21:58)
- 视频： 11-12 适合抓直播哟：基于HLS的视频流存储方案（2） (25:43)
第12章安卓群控系统架构与自动化项目 28 节 | 367分钟

本项目开发了一套完整的安卓群控系统，实现多模拟器的自动化管理。系统包含设备连接、自动解锁、应用操作等核心模块，采用面向对象设计和Appium服务，支持多实例控制和健康监测，提供从启动到操作的全流程自动化解决方案。...

收起列表
- 视频： 12-1 安卓群控系统架构与自动化项目介绍 (07:28)
- 视频： 12-2 需求分析与技术方案设计 (07:30)
- 视频： 12-3 模拟器连接参数配置与标准化 (06:56)
- 视频： 12-4 基于脚本的模拟器实例化连接 (05:33)
- 视频： 12-5 模拟器屏幕锁状态检测机制 (08:19)
- 视频： 12-6 模拟器自动化解锁流程实现 (15:05)
- 视频： 12-7 Keycode映射表密码输入方案-1 (11:00)
- 视频： 12-8 Keycode映射表密码输入方案-2 (17:48)
- 视频： 12-9 智能锁屏状态检测与自动解锁优化 (10:48)
- 视频： 12-10 脚本代码面向对象重构方案 (17:40)
- 视频： 12-11 应用层类继承模拟器基类实现 (18:13)
- 视频： 12-12 模拟器内应用连接参数配置 (08:30)
- 视频： 12-13 用户协议自动化确认功能实现 (07:12)
- 视频： 12-14 四向滑动手势操作封装实现 (13:06)
- 视频： 12-15 模拟器内应用自动化操作框架-1 (14:57)
- 视频： 12-16 模拟器内应用自动化操作框架-2 (14:58)
- 视频： 12-17 非初始化状态应用冷启动方案 (11:36)
- 视频： 12-18 全链路联调：模拟器重启至应用自动化 (12:54)
- 视频： 12-19 现有技术方案局限性分析 (04:38)
- 视频： 12-20 多进程优化与多实例模拟器控制 (10:25)
- 视频： 12-21 模拟器类Appium服务集成方案 (21:35)
- 视频： 12-22 模拟器实例自动化发现机制-1 (13:09)
- 视频： 12-23 模拟器实例自动化发现机制-2 (13:58)
- 视频： 12-24 模拟器集群动态管理与维护 (16:25)
- 视频： 12-25 模拟器进程接入和健康监测 (27:55)
- 视频： 12-26 系统联调：自动化管理与进程维持 (17:16)
- 视频： 12-27 系统级联：系统多级日志存储方案 (17:45)
- 视频： 12-28 架构升级：数据存储和可视化界面方案介绍 (13:57)
第13章 Streamlit可视化数据分析，提效数据展示与分析 15 节 | 202分钟

本章将介绍Streamlit这一快速构建数据可视化应用的工具，包括其核心功能、安装配置及基本使用方法。通过学习，你将掌握如何利用Streamlit创建交互式数据仪表盘，提升数据展示与分析效率。

收起列表
- 视频： 13-1 数据应用构建利器：Streamlit核心特性与部署 (04:37)
- 视频： 13-2 文本展示技术：标题与段落的多级呈现方法 (16:00)
- 视频： 13-3 交互触发机制：按钮组件的事件响应设计 (09:08)
- 视频： 13-4 数据采集入口：文本输入框的验证与实时反馈 (17:31)
- 视频： 13-5 数值调节方案：滑动条的范围控制与动态响应 (12:20)
- 视频： 13-6 结构化数据呈现：交互式表格的筛选与排序功能 (13:10)
- 视频： 13-7 数据可视化实现：折线图柱状图的动态生成方法 (24:39)
- 视频： 13-8 界面优化策略：侧边栏控件的层级布局方案 (08:22)
- 视频： 13-9 高级布局方案：多列容器的响应式对齐技巧 (11:52)
- 视频： 13-10 内容组织架构：容器组件的嵌套逻辑与扩展器应用 (12:11)
- 视频： 13-11 动态交互机制：回调函数的事件绑定 (21:42)
- 视频： 13-12 会话状态管理：跨组件数据持久化解决方案 (07:27)
- 视频： 13-13 多媒体嵌入技术：图片自适应展示与格式兼容方案 (15:20)
- 视频： 13-14 音频播放方案：流媒体加载与播放控制集成 (10:00)
- 视频： 13-15 视频集成方案：嵌入式播放器与视频解析 (16:42)
第14章【Streamlit实战】AI 交互与系统报告生成平台的设计与实现 10 节 | 139分钟

本章重点介绍 DeepSeek 模型集成与系统报告生成两大核心模块，涵盖模型交互、Token 管理、流式问答、数据可视化及 PDF 报告导出等关键功能的实现方法。

收起列表
- 视频： 14-1 【AI模型交互】DeepSeek 模型基础与 Token 管理机制 (08:06)
- 视频： 14-2 【AI模型交互】DeepSeek 请求头规范与接口调用方法 (13:33)
- 视频： 14-3 【AI模型交互】实现流式问答与对话交互界面 (20:35)
- 视频： 14-4 【AI模型交互】侧边栏预设常见问题配置-1 (16:52)
- 视频： 14-5 【AI模型交互】侧边栏预设常见问题配置-2 (13:34)
- 视频： 14-6 【AI模型交互】清空对话历史功能实现 (08:23)
- 视频： 14-7 【系统报告生成】系统信息获取与处理 (12:38)
- 视频： 14-8 【系统报告生成】系统信息前端展示与排版 (16:13)
- 视频： 14-9 【系统报告生成】系统数据可视化与图表生成 (14:42)
- 视频： 14-10 【系统报告生成】系统报告导出为PDF功能 (13:51)
第15章【Streamlit实战】群控架构日志文件可视化项目 9 节 | 98分钟

本章详细介绍群控日志可视化系统的构建过程，涵盖日志采集、解析筛选、多维度统计分析和图表可视化等核心功能模块，实现对日志数据的高效处理与直观展示。

收起列表
- 视频： 15-1 【日志可视化】群控日志可视化项目核心功能概述 (02:50)
- 视频： 15-2 【日志可视化】侧边栏目录配置与日志读取机制 (18:50)
- 视频： 15-3 【日志可视化】自动日期范围设定与筛选功能 (14:44)
- 视频： 15-4 【日志可视化】日志文件自动解析处理流程 (09:08)
- 视频： 15-5 【日志可视化】基于日期范围的日志过滤功能 (08:50)
- 视频： 15-6 【日志可视化】日志数量与级别解析及页面渲染 (10:41)
- 视频： 15-7 【日志可视化】日志时间范围解析与时间分布图表生成 (18:22)
- 视频： 15-8 【日志可视化】基于函数调用的日志统计与图表可视化 (07:32)
- 视频： 15-9 【日志可视化】日志可视化项目总结与功能拓展方向 (06:38)
第16章如何应对应用设置的反扒机制 5 节 | 65分钟

本章聚焦破解App反爬机制的核心技术介绍，涵盖逆向分析通信协议、模拟高仿真请求、对抗动态加密与设备指纹检测等实战方法，提供从数据解密到行为拟真的全链路解决方案。

收起列表
- 视频： 16-1 协议逆向解析：通信链路拆解与加密算法重构技术 (20:58)
- 视频： 16-2 流量仿真策略：客户端行为建模与特征深度复现方案 (12:06)
- 视频： 16-3 动态密钥对抗：实时嗅探与解密算法动态反制机制 (12:03)
- 视频： 16-4 设备指纹隐匿：多维特征融合与身份伪装实现方案 (06:07)
- 视频： 16-5 人机验证绕过：轨迹仿真与行为画像动态模拟策略 (12:58)
第17章课程总结 1 节 | 17分钟

本章将对整个课程内容进行系统回顾，帮助你巩固所学知识与技能。通过学习，你将全面掌握从开发环境搭建到移动端爬虫实现，自动化测试、网络抓包及数据可视化的全流程技能。

收起列表
- 视频： 17-1 课程总结：从入门到实战的全方位回顾 (16:19)