30天前活跃

pan

• UID:16797
综合评分 32
方向: 爬虫/脚本-爬虫/脚本
上海市
200元/8h
1年经验
求职意愿:接单·(30天前更新)

个人简介

1.精通Python语言,有良好的编码习惯。 2.熟练使用 Requests、Selenium等技术,实现静态和动态网页的数据爬取。 3.熟悉常用的Python爬虫框架和库 Scrapy,Scrapy-Redis,feapder,DrissionPage等。 4.有解决封账号、封IP、网页抓取、信息抽取等问题的经验。 5.能够逆向分析 JavaScript 加密数据,破解网站数据接口,实现更精准的数据获取。 6.熟悉MySQL,Redis,MongoDB等数据库,以及对应数据的抽取入库等。 7.熟悉影刀RPA开发,具有丰富的影刀RPA使用经验。 8.熟悉爬虫的多进程、多线程、异步操作。 9.熟悉HTML,JavaScript,CSS 熟悉HTTP协议。 10.熟悉WebDriver,phantomjs等工具。 11.掌握网页抓取原理及技术,了解基于Cookie的登录原理。 12.熟悉基于正则表达式、lxml、XPath、CSS、bs4等数据提取技术。 13.了解抓包工具、如Fiddler、Charles、Mitmproxy。 14.熟悉API对接方式。 15.熟悉Linux常用命令、docker容器技术和git。 16.熟练处理 JSON、CSV、Excel 等数据格式 17.了解手机端自动化、浏览器自动化、PC自动化开发。 18.了解数据可视化库Matplotlib,了解数据分析库pandas。 19.具有丰富的跨境电商开发经验。

技能

核心技能: Scrapy、Selenium
其他技能:
交流语言: 普通话( 母语水平 )
行业经验: 电商 企业内部管理 金融 旅游

项目案例

金融市场数据爬取监测平台
本平台利用爬虫技术采集奇货可查,新浪财经、东方财富等金融数据,包括股票、指数、汇率及资讯,通过深度分析实时监控市场动态,为投资者、金融机构及企业提供精准决策支持。系统针对公司固定合作金融机构实现定向推广,提升商业盈利。
金融

工作经历

西安宇途信息技术有限公司
  
50-200人
爬虫工程师
2024.05 - 2025.03
1.通过分布式架构提升数据采集效率。 2.凭借技术手段成功突破动态页面渲染、验证码、IP封锁等复杂反爬策略 。 3.优化爬虫程序出现的BUG,保证程序稳定运行。 4.协助处理部分JS逆向问题。 5.对海量抓取数据开展清洗、去重与结构化处理,与分析师协同,为业务提供高质量数据支撑。 6.参与数据可视化展示以及数据分析工作。 7.监控爬虫代码的运行,及时对爬虫代码进行修改,适应网站的更新变化。 8.项目部署后对代码进行持续跟踪维护

教育经历

河南工业大学
2021.09 - 2023.06
软件技术
专科
相似推荐
乌鲁木齐市
爬虫/脚本-爬虫/脚本、后端-Python
技能:Python
成都市
后端-Python、爬虫/脚本-爬虫/脚本
技能:Python、Oracle Database、Node.js、Vue
北京市
爬虫/脚本-爬虫/脚本、后端-Go
技能:Django、Gin、Gorm、Qt、Python、Go、React、Vue、Selenium
南京市
人工智能-AI应用开发、爬虫/脚本-爬虫/脚本
技能:PyTorch
南昌市
数据库工程师-数据库、爬虫/脚本-爬虫/脚本
技能:ActiveMQ、JavaScript、.NET Core
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服