在线教育 爬虫/脚本 软件定制 案例

将TIF数据转换格式便于教育科研使用。项目主要用于高校教学编程的地理空间数据处理，并用于转换TIF便于ENIV，ArcGIS等软件进行分析处理。功能为将目标TIF转换为BSQ、BIP、BIL格式，以及三者的互相转换。主要业务用于教学案例和快捷数据转换。

以线下授课的方式完成：MySQL、Oracle、GaussDB、Linux、Shell、Hadoop、Hive、Kettle、Oozie、DS、Azkaban、SparkSQL等课程的授课工作，以及后期的学员简历优化工作，以及学员就业辅助工作。 主要带领学生完成数据仓库的建设，离线数据的处理以及数据集市层的指标开发工作。 编写ETL脚本，完成数据的抽取、转换、清洗、加载的工作

智能源码抓取引擎：​​基础抓取层​​使用定制化Requests组件发送请求，植入动态请求头（包含自动轮换的User-Agent池和Cookies策略）​​渲染层​​自动切换到Playwright无头浏览器执行智能渲染，遇到瑞数反爬等​​则通过单独编写spider进行数据爬取 智能分级清洗系统：首先进行标题的规则匹配，建立多维度匹配规则库（正则表达式+关键词权重算法），通过时间维度，关键词，排除此，联合词等规则进行权重匹配，如含有排除词考编等则直接排除，含有关键词两个如教师，招聘则通过一轮筛选；接着是公告内容解析清洗，使用XPath/CSS定位主体容器，避开干扰区块（广告/侧边栏/评论区），接着仍然使用正则和关键词权重进行确认是否为招聘信息 数据存储：在进行源码抓取以及清洗的时候进行实时数据标注,(如 JS渲染标注，反爬识别)，同时也保存url的访问状态码等信息，最后将url以及相关信息存入Redis中间件中进行hash去重，确保数据不重复，接着存入Mysql中完成最后的数据保存。

本参考手册内容包括： 1）Python 3.11的官方文档： 完善的目录结构，这是核心。 header table: header条目的声明(太长时进行省略, url),简要描述(one line) 2）第三方综合性Python学习资源: 简明Python教程 3) 各种速查手册(常用库模块简明使用手册), cheat sheet 4）各种实例: Python CookBook 5）第三方库介绍: awesome-python