爬虫/脚本 软件定制 案例

一、核心功能：基础数据采集与处理 核心功能是爬虫的 “基石”，主要目标是精准、稳定地获取视频平台的核心公开数据，并完成初步清洗，为后续分析或应用提供原料。 1. 目标数据采集（核心能力） 爬虫可针对主流视频平台（如 B 站、抖音、YouTube、腾讯视频等），定向采集以下几类关键数据，具体采集范围需根据平台接口限制或页面结构调整： 数据类别 具体采集内容 应用场景举例 视频基础信息 视频 ID、标题、发布时间、时长、封面图 URL、播放量、点赞量、收藏量、评论数、分享数 视频热度分析、内容分类统计 创作者信息 创作者 ID、昵称、头像 URL、粉丝数、关注数、发布视频总数、账号认证类型（如 “UP 主”） 创作者画像分析、达人筛选 视频内容数据 视频播放地址（需区分 “可下载”“仅在线播放” 权限）、字幕文本（公开字幕）、标签 / 分类 视频内容检索、字幕关键词分析 互动数据 评论内容（用户名、评论时间、评论点赞数、回复链）、弹幕内容（发送时间、弹幕文本） 用户情感分析、热门话题提取 2. 数据清洗与标准化 采集到的原始数据常存在格式混乱（如时间戳格式不统一）、冗余（如重复评论）、无效值（如播放量为 “--”）等问题，爬虫需内置处理逻辑： 格式统一：将不同平台的时间戳（如 “2024-05-20”“1684567890”）统一转为标准时间格式，播放量（如 “1.2 万”“12000”）统一转为数值型； 冗余 / 无效数据过滤：删除重复的评论、弹幕，过滤掉 “无意义文本”（如纯表情评论）或无效字段（如封面图 URL 失效）； 关键词提取：基于 NLP（自然语言处理）工具（如 jieba、NLTK），从视频标题、评论、字幕中提取核心关键词（如 “AI 生成”“美食教程”），为后续分类打标签。 3. 数据存储与导出 采集并清洗后的数据需持久化存储，支持多种存储方式以适配不同需求： 本地存储：适合小规模数据，如 Excel（.xlsx）、CSV（逗号分隔文件，便于 Excel/Python 读取）、JSON（轻量格式，适合程序调用）； 数据库存储：适合大规模、高并发采集场景，如关系型数据库（MySQL、PostgreSQL，用于结构化数据如视频基础信息）、非关系型数据库（MongoDB，用于非结构化数据如评论、弹幕）； 数据导出：支持按需导出为可视化工具兼容格式（如 PowerBI、Tableau 可读取的 CSV/Excel），或 API 接口格式（供其他系统调用）。 二、扩展功能：提升采集效率与场景适配性 扩展功能是在核心能力基础上，针对 “高并发、反爬对抗、多场景需求” 设计的进阶能力，决定爬虫的稳定性与实用性。 1. 反爬对抗与稳定性优化 主流视频平台均设有反爬机制（如 IP 封锁、Cookie 验证、验证码、接口签名），爬虫需通过技术手段适配，确保采集过程

一款专为淘宝、拼多多店铺运营者设计的店铺订单自动化管理工具，通过对已付款、待发货、退款三类核心订单的自动化操作，显著提升店铺管理效率，简化运营流程。 [在淘宝服务市场可以查询到详细产品]

1、迎合批量下载网络图片的客户需求 2、初始化界面_获取数据_选择目录_下载图片（多线程下载，包括暂停、取消功能_显示图片_退出程序 下载图片流程图（多线程）： 主线程： 用户点击“保存本页图片” 检查状态：如果正在下载，则警告并返回 检查目录和图片列表 禁用按钮，启用暂停和取消按钮 启动下载线程 更新状态为“开始下载” 下载线程： 创建保存目录 初始化下载计数和总数量 对于每个图片URL： 如果取消下载标志为True，跳出循环 如果暂停标志为True，则循环等待直到暂停标志为False或取消 下载图片（分块） 发送HTTP请求 打开文件写入 按块读取数据，并写入文件，同时更新已下载大小 更新总体进度（通过主线程after方法更新界面） 下载完成后，设置完成状态

主导报刊采集项目，成功采集了162种报刊的内容及PDF。负责数据处理，采用Scrapy和BS4技术栈，设计并实施了三通道架构以优化分布式数据采集。有效应对反爬机制，通过登录验证和cookie验证确保数据的准确性和完整性。利用pandas进行数据分析，结合正则表达式、机器学习（数据标注）和AI大模型进行深入解析，提升了数据处理的效率和准确性。

本项目旨在构建一套自动化爬虫系统，定向采集某电商平台游戏鼠标类目下的全量数据，为企业运营决策与产品迭代提供精准的数据支撑，覆盖游戏鼠标类目下FPS、RTS、MMO三大细分类型，共 20 个主流品牌（罗技、雷蛇、华硕 ROG 等）、800余款商品。每款商品包含25个核心字段，采用全量采集（每周1次）+增量采集（每1小时1次）双模式。

将TIF数据转换格式便于教育科研使用。项目主要用于高校教学编程的地理空间数据处理，并用于转换TIF便于ENIV，ArcGIS等软件进行分析处理。功能为将目标TIF转换为BSQ、BIP、BIL格式，以及三者的互相转换。主要业务用于教学案例和快捷数据转换。

个人Python训练，通过Python编码进行今日头条的模拟登录，其中用到了多个模块，如selenium模块，同时涉及了利用xpath进行元素定位的相关操作，注意要确定定位的准确性和简洁性，值得一提的是该程序还存在一定的不足和缺陷，比如无法破解验证码的问题。

个人Python编程练习，熟悉selenium的使用过程，了解selenium的优势，加深对Python爬虫的理解，selenium适用于加入了对Python爬虫进行了反爬操作的网页，如案例网页若直接利用爬虫抓取网页内容会被创宇盾拦截，利用selenium能够处理大多数反爬操作，增强了python爬虫的可操作范围。

Python编程个人练习，熟练进行Python爬虫程序的编码流程和相关注意点，提升自我Python编程的能力，通过利用Python爬虫进行数据爬取了解爬虫的强大功能，同时利用定义类之后在创建对象的方式增强代码的可读性。

朋友要去华侨城找工作，人工找太难了，想把数据提取下来，做数据分析之后，快速的找项目找工作，机器提取招标平台的项目数据，寻找合作机会 项目主要功能就是提取数据，分析数据，保存数据 结束

主要功能：自动化网站登录和验证码识别 核心功能模块 1. 基础浏览器自动化 (test01.py) - 自动打开百度网站 - 执行搜索操作（搜索"特斯拉"） - 网页截图功能 2. 教务系统自动登录 (pra_1_cdtu.py) - 自动登录成都工业学院教务管理系统 - 自动填写学号和密码 - 验证码自动识别和输入 3. 通用网站自动登录 (test03.py) - 通用API登录页面自动化 - 支持多种验证码类型识别 技术特性 1. 验证码识别系统 (test02.py) - 集成图图识别API - 支持多种验证码类型（纯数字、英文、混合、计算题等） - 支持坐标点选、缺口识别、拼图识别 2. 图像处理工具 (basic_to_pit.py) - Base64图片编码/解码 - 验证码图片保存和处理 3. 坐标获取工具 (截图坐标.py) - 鼠标坐标获取 - 屏幕截图功能 应用场景 - 自动化测试 - 批量账号登录 - 教务系统数据采集 - 验证码破解研究 - Web爬虫辅助工具

1、数据模型构建：收集业务需求与数据实现，选择业务过程，声明粒度，确认维度与事实，确定部署方式。 2、搭建数据集市：从企业数仓内根据主题抽取数据至单独数据库或schema存储。 3、ETL逻辑开发：完成数据整合、清洗、转化、聚合等过程。

这是一个多层次、多技术栈融合的SVG到PNG转换工具项目，采用了模块化设计和渐进式增强的架构理念 1. 多引擎转换架构 # 转换引擎层次结构 ├── 浏览器引擎 (Playwright + Chromium) - 最高保真度 ├── 专业工具 (Inkscape) - 专业级质量 ├── Python库 (CairoSVG) - 轻量级方案 └── 简化渲染 (Pillow) - 基础支持 2. 渐进式降级策略 优先使用：Playwright浏览器自动化（100%视觉一致性） 备选方案：Inkscape专业工具（高质量输出） 兜底方案：CairoSVG库（快速转换） 最后选择：简化渲染（基本功能 3. 模块化组件设计 direct_svg2png.py - 🏆 明星产品：基于Playwright的直接转换器 simple_svg2png.py - 📱 推荐使用：简化版转换器 svg2png.py - 🔧 功能完整：完整版转换器 advanced_svg2png.py - 🎨 高级功能：Web界面转换器 browser_svg2png.py - 🌐 浏览器版：HTML转换页面生成器 precise_svg2png.py - 🎯 精确转换：专业级转换器

这个项目可以实现数据自动化爬取，并且自动生成xlsx文件保存，还附带几个可视化图表，有柱状图，条形图以及饼状图，可以清晰的看出数据分布，功能实现有爬取功能，以及反爬技术，还包括了自动化运行，效率高效，数据准确

电价预测模型 — 独立项目 时间：2024年暑期 基于时间序列与深度学习模型（LSTM、Transformer）构建电价预测系统，探索短期与中长期预测的差异化效果； 实现数据预处理与特征工程（缺失值处理、归一化、滞后特征构造、节假日与天气特征融合），提升模型鲁棒性； 在实验中对比了ARIMA、XGBoost与改进的Transformer结构，并以MAPE、RMSE为指标进行量化评估； 使用PyTorch + sklearn 完成模型搭建与训练，并基于可视化分析解释预测结果，撰写完整技术报告； 项目代码与报告开源至GitHub，积累实践经验并初步形成科研表达能力 Summer 2024 Developed a time-series forecasting system for electricity prices using LSTM and Transformer-based models, comparing short-term and long-term forecasting performance. Designed and implemented data preprocessing & feature engineering, including missing value imputation, normalization, lag features, and integration of holiday/weather factors. Conducted benchmarking with ARIMA, XGBoost, and enhanced Transformer variants, evaluated via MAPE and RMSE metrics. Built and trained models using PyTorch and scikit-learn, with visualization for interpretability and a full technical report. Open-sourced project on GitHub, gaining hands-on experience in applied machine learning and technical reportin

机器学习算法案例 -公司拥有自主研发、自主知识产权的机器学习自动化建模平台-Model Robot，在客户行为预测、商品推荐算法、因果分析推理模型、自然语言处理和视觉学习方面拥有成熟模型，沉淀了丰富的实践经验; 精准营销系统功能案例 a. MA系统、多维客户画像标签、千人千面，精准筛选 b. 精准推荐系统: 内置推荐引擎、车辆进店，摄像头自动识别，一车一策，精准营销 知识图库与舆情系统 a.KG Learnings-以汽车售后收益诊断为例，已落地多家主机厂，500余家4s店；gpt式领域知识查询已落地应用1年以上 b.舆情系统: 全网开源数据实时抓取、清洗处理和分析呈现，多家豪华品牌连续三年采购 定制BI开发 a.除多业务层级、多岗位角色关联指标实时大屏呈现外，也具备AI辅助的决策分析和短板精准诊断功能 b.与精准营销模块无缝对接，知道KPI短板在哪里，也知道造成KPI短板的原因在哪里，也知道弥补短板的目标引流客群是谁，什么干预措施能带来多大量化效果

Python航班信息爬取系统是一款利用Python网络爬虫技术（如Requests、BeautifulSoup和Selenium库），从航空公司和在线旅行服务平台（如携程、同程旅行等）自动化抓取航班数据的工具。它能够高效获取包括航班号、起降时间、机场、航空公司、票价及准点状态等在内的结构化信息。 该系统通常支持处理静态网页和动态加载（Ajax/JavaScript渲染）的复杂页面，并能应对常见的反爬虫策略。爬取的数据可被清洗、规范化，并存储为CSV、JSON文件或导入数据库（如MongoDB），用于后续的数据分析（如价格趋势、准点率统计）和可视化，为出行决策、市场研究或运营优化提供数据支持。

1.crm录音审转录文字审批 技术亮点 1. 性能优化策略 ● 位置缓存机制：避免频繁的DOM计算 ● 防抖处理：减少不必要的重新计算 ● ResizeObserver：监听容器尺寸变化 ● Passive 事件监听：提升滚动性能 2. 智能滚动体验 ● 多次对齐策略：渐进式精确定位 ● 自适应偏移比例：根据容器大小动态调整 ● 流畅动画：使用 CSS scroll-behavior: smooth 拓展性分析 1. 架构拓展性 ⭐⭐⭐⭐⭐ ● 模块化设计：各功能模块职责明确 ● 接口抽象：后端数据转换函数易于适配不同数据源 ● 组件解耦：音频播放器等子组件独立封装 2. 功能拓展潜力 ● 多媒体支持：可扩展视频、图片等媒体类型 ● 协作功能：支持实时多人备注和评论 ● 权限系统：可扩展基于角色的操作权限 ● 导出功能：支持备注内容的多格式导出 3. 技术栈拓展 ● 虚拟滚动：支持大量数据的性能优化 ● WebSocket：实现实时协作 ● Web Worker：处理复杂的文本分析算法 ● IndexedDB：本地缓存和离线支持

以线下授课的方式完成：MySQL、Oracle、GaussDB、Linux、Shell、Hadoop、Hive、Kettle、Oozie、DS、Azkaban、SparkSQL等课程的授课工作，以及后期的学员简历优化工作，以及学员就业辅助工作。 主要带领学生完成数据仓库的建设，离线数据的处理以及数据集市层的指标开发工作。 编写ETL脚本，完成数据的抽取、转换、清洗、加载的工作

1、通过互联网进行深度信息侦查，发现互联网暴漏的大量资产 2、深度模糊测试和Api接口探测，发现大量未授权Api接口，获取海量高价值数据 3、基于密码攻防获取JWT Token敏感信息，利用泄露的敏感信息获取核心一类金融系统管理员权限 4、存在任意文件下载漏洞，可以读取大量银行内部敏感文件 5、钓鱼攻击开展，直接获取银行职员办公电脑权限，并跳转进入银行大数据平台