大数据 爬虫/脚本 软件定制 案例

一、核心功能：基础数据采集与处理 核心功能是爬虫的 “基石”，主要目标是精准、稳定地获取视频平台的核心公开数据，并完成初步清洗，为后续分析或应用提供原料。 1. 目标数据采集（核心能力） 爬虫可针对主流视频平台（如 B 站、抖音、YouTube、腾讯视频等），定向采集以下几类关键数据，具体采集范围需根据平台接口限制或页面结构调整： 数据类别 具体采集内容 应用场景举例 视频基础信息 视频 ID、标题、发布时间、时长、封面图 URL、播放量、点赞量、收藏量、评论数、分享数 视频热度分析、内容分类统计 创作者信息 创作者 ID、昵称、头像 URL、粉丝数、关注数、发布视频总数、账号认证类型（如 “UP 主”） 创作者画像分析、达人筛选 视频内容数据 视频播放地址（需区分 “可下载”“仅在线播放” 权限）、字幕文本（公开字幕）、标签 / 分类 视频内容检索、字幕关键词分析 互动数据 评论内容（用户名、评论时间、评论点赞数、回复链）、弹幕内容（发送时间、弹幕文本） 用户情感分析、热门话题提取 2. 数据清洗与标准化 采集到的原始数据常存在格式混乱（如时间戳格式不统一）、冗余（如重复评论）、无效值（如播放量为 “--”）等问题，爬虫需内置处理逻辑： 格式统一：将不同平台的时间戳（如 “2024-05-20”“1684567890”）统一转为标准时间格式，播放量（如 “1.2 万”“12000”）统一转为数值型； 冗余 / 无效数据过滤：删除重复的评论、弹幕，过滤掉 “无意义文本”（如纯表情评论）或无效字段（如封面图 URL 失效）； 关键词提取：基于 NLP（自然语言处理）工具（如 jieba、NLTK），从视频标题、评论、字幕中提取核心关键词（如 “AI 生成”“美食教程”），为后续分类打标签。 3. 数据存储与导出 采集并清洗后的数据需持久化存储，支持多种存储方式以适配不同需求： 本地存储：适合小规模数据，如 Excel（.xlsx）、CSV（逗号分隔文件，便于 Excel/Python 读取）、JSON（轻量格式，适合程序调用）； 数据库存储：适合大规模、高并发采集场景，如关系型数据库（MySQL、PostgreSQL，用于结构化数据如视频基础信息）、非关系型数据库（MongoDB，用于非结构化数据如评论、弹幕）； 数据导出：支持按需导出为可视化工具兼容格式（如 PowerBI、Tableau 可读取的 CSV/Excel），或 API 接口格式（供其他系统调用）。 二、扩展功能：提升采集效率与场景适配性 扩展功能是在核心能力基础上，针对 “高并发、反爬对抗、多场景需求” 设计的进阶能力，决定爬虫的稳定性与实用性。 1. 反爬对抗与稳定性优化 主流视频平台均设有反爬机制（如 IP 封锁、Cookie 验证、验证码、接口签名），爬虫需通过技术手段适配，确保采集过程

主导报刊采集项目，成功采集了162种报刊的内容及PDF。负责数据处理，采用Scrapy和BS4技术栈，设计并实施了三通道架构以优化分布式数据采集。有效应对反爬机制，通过登录验证和cookie验证确保数据的准确性和完整性。利用pandas进行数据分析，结合正则表达式、机器学习（数据标注）和AI大模型进行深入解析，提升了数据处理的效率和准确性。

个人Python训练，通过Python编码进行今日头条的模拟登录，其中用到了多个模块，如selenium模块，同时涉及了利用xpath进行元素定位的相关操作，注意要确定定位的准确性和简洁性，值得一提的是该程序还存在一定的不足和缺陷，比如无法破解验证码的问题。

个人Python编程练习，熟悉selenium的使用过程，了解selenium的优势，加深对Python爬虫的理解，selenium适用于加入了对Python爬虫进行了反爬操作的网页，如案例网页若直接利用爬虫抓取网页内容会被创宇盾拦截，利用selenium能够处理大多数反爬操作，增强了python爬虫的可操作范围。

Python编程个人练习，熟练进行Python爬虫程序的编码流程和相关注意点，提升自我Python编程的能力，通过利用Python爬虫进行数据爬取了解爬虫的强大功能，同时利用定义类之后在创建对象的方式增强代码的可读性。

这个项目可以实现数据自动化爬取，并且自动生成xlsx文件保存，还附带几个可视化图表，有柱状图，条形图以及饼状图，可以清晰的看出数据分布，功能实现有爬取功能，以及反爬技术，还包括了自动化运行，效率高效，数据准确

电价预测模型 — 独立项目 时间：2024年暑期 基于时间序列与深度学习模型（LSTM、Transformer）构建电价预测系统，探索短期与中长期预测的差异化效果； 实现数据预处理与特征工程（缺失值处理、归一化、滞后特征构造、节假日与天气特征融合），提升模型鲁棒性； 在实验中对比了ARIMA、XGBoost与改进的Transformer结构，并以MAPE、RMSE为指标进行量化评估； 使用PyTorch + sklearn 完成模型搭建与训练，并基于可视化分析解释预测结果，撰写完整技术报告； 项目代码与报告开源至GitHub，积累实践经验并初步形成科研表达能力 Summer 2024 Developed a time-series forecasting system for electricity prices using LSTM and Transformer-based models, comparing short-term and long-term forecasting performance. Designed and implemented data preprocessing & feature engineering, including missing value imputation, normalization, lag features, and integration of holiday/weather factors. Conducted benchmarking with ARIMA, XGBoost, and enhanced Transformer variants, evaluated via MAPE and RMSE metrics. Built and trained models using PyTorch and scikit-learn, with visualization for interpretability and a full technical report. Open-sourced project on GitHub, gaining hands-on experience in applied machine learning and technical reportin

1、用于分析市场趋势、竞争对手动态，电商监控价格波动 ‌ 2、通过预设规则自动访问网页并处理数据，替代人工操作。例如通过爬虫批量获取电商平台的数据进行大数据分析，效率显著提升。 数据采集与处理 通过模拟浏览器请求获取网页内容，支持HTTP/HTTPS协议，可自定义请求头（如User-Agent）规避反爬机制。解析HTML页面时，使用正则表达式或DOM解析库（如BeautifulSoup）提取指定数据（如文本、图片链接、商品价格等），并将结果存储为文本、数据库或特定格式文件。

智能源码抓取引擎：​​基础抓取层​​使用定制化Requests组件发送请求，植入动态请求头（包含自动轮换的User-Agent池和Cookies策略）​​渲染层​​自动切换到Playwright无头浏览器执行智能渲染，遇到瑞数反爬等​​则通过单独编写spider进行数据爬取 智能分级清洗系统：首先进行标题的规则匹配，建立多维度匹配规则库（正则表达式+关键词权重算法），通过时间维度，关键词，排除此，联合词等规则进行权重匹配，如含有排除词考编等则直接排除，含有关键词两个如教师，招聘则通过一轮筛选；接着是公告内容解析清洗，使用XPath/CSS定位主体容器，避开干扰区块（广告/侧边栏/评论区），接着仍然使用正则和关键词权重进行确认是否为招聘信息 数据存储：在进行源码抓取以及清洗的时候进行实时数据标注,(如 JS渲染标注，反爬识别)，同时也保存url的访问状态码等信息，最后将url以及相关信息存入Redis中间件中进行hash去重，确保数据不重复，接着存入Mysql中完成最后的数据保存。

主要围绕社交网络用户行为分析数据可视化进行研究，本设计依靠着Python语言强大的功能及丰富的库来搭建一套完整的数据处理与分析体系，为了方便对数据处理流程进行妥善管理与交互使用Django框架构建了一个Web网站。该网站利用爬虫技术在微博上收集用户行为数据，其中包含用户发布的内容和互动记录等多方面信息。这些数据经过清洗和预处理之后存储到MySQL数据库中既能保障数据的安全又便于后续使用。系统采用聚类分析方法等数据挖掘算法来解析用户行为模式挖掘用户兴趣偏好、社交关系等关键信息。根据分析结果利用可视化工具将大量数据以直观、易懂的图表形式呈现在网站上，比如柱状图、折线图、网络图等，这样可以帮助用户清晰把握社交网络用户行为特征。本研究能够为社交平台完善服务体系、帮助企业把握营销策略，提供可靠的数据支撑以及有针对性的决策参考。 研究分析结果以直观的柱状图、折线图、网络图等可视化呈现，助力清晰洞察用户行为特征，为社交平台优化服务、企业精准营销提供有力的数据支撑，在实际应用中具有一定推广价值。

采集抖音、快手 点赞评论转发收藏，并且根据自定义阈值发送提醒功能。其中包括自己提醒设置、提醒上级设置，特殊流量延长监控、评论关键字提醒。可选择关联产品进行报表统计。第一次使用时添加新手引导无缝上手。 并整合了钉钉、快麦erp、金蝶等第三方api。避免数据孤岛，整个业务流程形成闭环。

polars清洗入数据仓库HDFS ods，spark定期计算mds/sds数据存储Hive，Azkaban管理同步任务&计算任务，redash展示灵活透视表，为业务和老板提供数据支持。 简单的ARMA预测模型预测业务未来走势，图表输出。推荐模型构建业务主特征，提高转化率和效率，指导销售工作。