业务和功能介绍
1.立项背景和目标：需要对主流金融网站上的常见金融指标数据进行分析，需要获取实时的数据做量化分析
2.软件功能、核心功能模块的介绍：(1) 爬虫任务定时执行、任务状态检测平台采用dolphinschduler开源框架 (2) 爬取数据采用request,selenium,playwright,rpa,scapy等框架 （3）反爬技术框架采用js逆向、滑块验证码、图片数字验证码、ocr图片识别技术
（4）数据库采用mongoldb,oracle,后端技术采用flask框架
3.业务流程、功能路径描述：爬取主流金融网站的数据、图片、excel文件、html信息，解析、提取、转换其中的数据并落入数据库中，通过接口的形式推送到业务系统做展示
2.软件功能、核心功能模块的介绍：(1) 爬虫任务定时执行、任务状态检测平台采用dolphinschduler开源框架 (2) 爬取数据采用request,selenium,playwright,rpa,scapy等框架 （3）反爬技术框架采用js逆向、滑块验证码、图片数字验证码、ocr图片识别技术
（4）数据库采用mongoldb,oracle,后端技术采用flask框架
3.业务流程、功能路径描述：爬取主流金融网站的数据、图片、excel文件、html信息，解析、提取、转换其中的数据并落入数据库中，通过接口的形式推送到业务系统做展示
项目实现
1.整体架构和设计思路，不同模块使用的技术栈
（1）数据爬取python任务的调度、任务执行状态检测采用dolphinschduler平台
（2） 后端服务采用flask框架
（3） 数据库存储采用mongodb和oracle
2.我负责的模块和结果
（1）负责从主流金融网站爬取需要的数据，制定特定网站需要爬取的策略和方式和数据爬取频率以及对应的破解反爬的技术方案
（2）维护线上的爬虫任务，当对应网站数据内容、数据结构发生变化能及时对对应的爬虫任务做修正来保障数据的及时更新
3.我遇到的难点、坑，和解决方案
(1) 当前方案可以正常爬取数据的网站随着网站新增反爬策略导致数据爬取失败，需要采用其他破解方案来保障爬虫任务的正常执行
(2) 随着网站上网页内容、数据格式发生变更，导致之前解析数据的逻辑无法继续正常爬取数据，需要及时定位问题，根据最新的数据格式内容来修复爬虫任务
(3)对爬虫任务进行优化，多线程保证爬虫任务执行时间的缩减，提升效率
(4)随着时间累计，对历史积累的大数据量大数据进行存储和可视化分析
（1）数据爬取python任务的调度、任务执行状态检测采用dolphinschduler平台
（2） 后端服务采用flask框架
（3） 数据库存储采用mongodb和oracle
2.我负责的模块和结果
（1）负责从主流金融网站爬取需要的数据，制定特定网站需要爬取的策略和方式和数据爬取频率以及对应的破解反爬的技术方案
（2）维护线上的爬虫任务，当对应网站数据内容、数据结构发生变化能及时对对应的爬虫任务做修正来保障数据的及时更新
3.我遇到的难点、坑，和解决方案
(1) 当前方案可以正常爬取数据的网站随着网站新增反爬策略导致数据爬取失败，需要采用其他破解方案来保障爬虫任务的正常执行
(2) 随着网站上网页内容、数据格式发生变更，导致之前解析数据的逻辑无法继续正常爬取数据，需要及时定位问题，根据最新的数据格式内容来修复爬虫任务
(3)对爬虫任务进行优化，多线程保证爬虫任务执行时间的缩减，提升效率
(4)随着时间累计，对历史积累的大数据量大数据进行存储和可视化分析
示例图片视频
相似推荐
期货交易信号量捕捉
1.获取期货当前行情价格
2.获取最新每一天的布林带上下轨
3.当价格接近上下轨时捕捉信号，让AI分析当前做空还是做多，AI提示做空/做多买入该产品，推送微信公众号。
4.止损/移动止盈 监控持仓产品，推送微信公众号
5.统计历史交易收益/当前持仓收益，推送微信公众号
Python脚本 / 数据可视化 / 多源数据可视化分析系统-多源数据可视化分析系统
本系统是一套面向多源数据的可视化分析工具，基于Python数据分析生态构建，可读取结构化Excel数据源并自动生成专业级分析图表和HTML报告。
系统聚焦两大分析场景：
1. A股金融市场分析：读取沪深A股4000+只股票的实时数据，自动生成板块分布饼图、成交量Top15排行柱状图、涨跌幅分布直方图，直观展示市场结构和资金动向。针对个股（如贵州茅台600519），生
成日K线走势图并叠加MA20/MA60双均线，标注历史最高收盘价，辅助技术分析决策。
2. 豆瓣影评数据分析：读取豆瓣电影Top250完整榜单，生成评分分布直方图、评分区间占比饼图，以及年度电影数量与平均评分的双Y轴趋势图。可直观看到经典电影年代分布和评分走势。
所有图表统一采用专业配色方案，支持中文渲染，输出为高分辨率PNG图片（150
DPI）。同时自动生成一个响应式HTML分析报告页面，将所有图表嵌入精美卡片布局，包含概览统计卡片和技术指标说明，可直接用于演示汇报或嵌入Web页面。
全行分布式分布式准规范化推广项目
项目描述:
通过本项目实现各个业务系统间服务的标准化调用和全行统一分布式架构，通过对报文标准改造后，将为灰度发布、多版本并行、热力地图采数、交易服务统一监控、交易全局路由、快速迭代开发等提供支撑基础。本项目涉及范围改造40多个系统，横跨研发8个团队，属于部门级重点项目。项目角色: 项目经理，统筹协调各方资源，保障项目进度，解决资源冲突，及时响应各系统需求，分批次调整投产策略，整理项目交付材料；
美团金融-清结算平台-Java开发工程师
构建面向美团金融部门多业务线(如信贷、数据分、短信、AI语音等)的统一清分系统，涵盖事件入库、实时与
定时清分、计价计算、结算单生成、资金对账等。
个人职责：
清分领域负责人:设计开发通用计价模型，适配不同业务线的多样化计价规则(固定收费、阶梯计价、动态调差
等)，支持灵活扩展和快速迭代
核心系统技术负责人:设计并开发了清分系统的核心组件，包括天级合并计价引擎、全额累进调差引擎、超额累
进调差引擎等，解决期中、期末调差的数据回刷问题，以及每日千万级数据的清分计价问题
稳定性负责人:负责计价与结算系统稳定性治理，包括方案设计与落地、告警与排查机制优化，以及数据补偿能
力的完善，保障业务高效稳定运行。
在线视频客服系统
基于WebRTC技术搭建线上视频客服系统，核心功能涵盖实时音视频交互、在线合同签署、多端（PC/移动）适配、弱网环境抗丢包优化。
项目已落地湖南财信人寿、上海邮惠万家、一汽金融、比亚迪等企业，通过技术赋能实现客户沟通效率与服务体验的同步提升。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服