jack7320

• UID:25184

综合评分 34

方向：爬虫/脚本-爬虫/脚本、安全/逆向-安全/逆向

深圳市

400元/8h

5-10年经验

求职意愿：接单·不求职(3天前更新)

个人简介

熟悉 python常用的爬虫请求库urllib、requests、selenium自动化以及解析库 Xpath,bs4等，了解并使用过 Scrapy 爬虫框架。熟悉Java,Python语言的使用，能独立编码、有良好的编程风格, 熟悉并使用过python web框架 Flask,对django框架有一定的了解；掌握Hadoop体系架构，理解MapReduce的工作原理，以及Hadoop的分布式存储机制HDFS原理，Yarn工作原理，常用的调度策略等，熟练搭建Hadoop集群

技能

核心技能：

其他技能： Python、Flask、Selenium、Selenium、Scrapy

交流语言：英语（母语水平）、普通话（母语水平）

行业经验：金融、电商、大数据

项目案例

智慧金融爬虫数据采集系统

1.立项背景和目标：需要对主流金融网站上的常见金融指标数据进行分析，需要获取实时的数据做量化分析 2.软件功能、核心功能模块的介绍：(1) 爬虫任务定时执行、任务状态检测平台采用dolphinschduler开源框架 (2) 爬取数据采用request,selenium,playwright,rpa,scapy等框架（3）反爬技术框架采用js逆向、滑块验证码、图片数字验证码、ocr图片识别技术（4）数据库采用mongoldb,oracle,后端技术采用flask框架 3.业务流程、功能路径描述：爬取主流金融网站的数据、图片、excel文件、html信息，解析、提取、转换其中的数据并落入数据库中，通过接口的形式推送到业务系统做展示

电商金融