金融 爬虫/脚本 软件定制 案例

主导报刊采集项目，成功采集了162种报刊的内容及PDF。负责数据处理，采用Scrapy和BS4技术栈，设计并实施了三通道架构以优化分布式数据采集。有效应对反爬机制，通过登录验证和cookie验证确保数据的准确性和完整性。利用pandas进行数据分析，结合正则表达式、机器学习（数据标注）和AI大模型进行深入解析，提升了数据处理的效率和准确性。

以线下授课的方式完成：MySQL、Oracle、GaussDB、Linux、Shell、Hadoop、Hive、Kettle、Oozie、DS、Azkaban、SparkSQL等课程的授课工作，以及后期的学员简历优化工作，以及学员就业辅助工作。 主要带领学生完成数据仓库的建设，离线数据的处理以及数据集市层的指标开发工作。 编写ETL脚本，完成数据的抽取、转换、清洗、加载的工作

1、通过互联网进行深度信息侦查，发现互联网暴漏的大量资产 2、深度模糊测试和Api接口探测，发现大量未授权Api接口，获取海量高价值数据 3、基于密码攻防获取JWT Token敏感信息，利用泄露的敏感信息获取核心一类金融系统管理员权限 4、存在任意文件下载漏洞，可以读取大量银行内部敏感文件 5、钓鱼攻击开展，直接获取银行职员办公电脑权限，并跳转进入银行大数据平台

通过集中抓取neovim插件的标星数量，让用户快速从几百个插件中筛选出拥有1k以上的标星插件，进而得到约几十个插件，从而方便用户进一步对筛选出来的插件进行分析，判断哪些插件是适合自己使用的

本平台利用爬虫技术采集奇货可查，新浪财经、东方财富等金融数据，包括股票、指数、汇率及资讯，通过深度分析实时监控市场动态，为投资者、金融机构及企业提供精准决策支持。系统针对公司固定合作金融机构实现定向推广，提升商业盈利。

对各类的交易策略如三均线，大小周期，macdkdj 共振、成交量、筹码分布、rsi和macd 共振 结合成交量、资金流通和前十大股东占自由流通比例 配合 ddx,ddy 各类主要指指标在结合基本面 {股票的市盈率、净利润、净利润同比，净利润季度环比、营业收入、营业收入同比，营业收入季度环比、是否是社保基金、是否是风险股【如近期大比例减持、三年亏损、即将解禁 久不分红、连续三日以上大比例融券等】过滤等等} 进行分析 有相关的客户可以根据自己的提出的需求后进行开发

在金融数据需求不断增长的背景下，股票数据爬取工具应运而生，为投资者、金融分析师、研究人员及相关机构提供了获取多维度股票数据的便捷途径。这类工具具备丰富且强大的功能，以满足不同用户在股票分析、投资决策、策略研究等方面的需求。

通过模块与数据结构框架，对多功能系统进行统一整合，比如，对数据的读写能力与整理分析能力进行模块化与结构化，然后通过算法及算法优化对相关函数功能进行整合，实现高效与高质量。用户可在使用过程中感受到兼具效率与质量的使用感受。

主要功能：行情数据发送，行情数据接收，高速数据处理，每分钟上百兆的数量处理量，多维分析手段，方便分析师从任意角度提取和分析数据，数量大，速度要求很快。数据复杂，所以需要展现的元素都得进入分析界面。界面展示丰富。

功能模块： 数据加载与初步检查：支持CSV文件输入，快速检测空值、格式错误 智能清洗：自动修复日期（如无效日期"2025-02-31"）、修正负金额、标准化分类 报告生成：输出清洗日志，包含数据量变化、异常记录统计 功能路径： 原始数据 → 加载 → 逐字段清洗（日期/金额/分类/支付方式） → 结果导出 → 可视化报告