金融 爬虫/脚本 软件定制 案例

有段时间幻想炒股赚钱，于是自研了一套量化交易系统，虽然现实并不理想，但是学了很多新技术，积累了很多经验。 模型研发： 超参数优化框架； 算子生成框架； 自定义高阶算子； 回测功能： 一套模拟交易环境； 极速回测框架； 模型研发与策略回测通用； 丰富的指标记录； 交易功能： 支持多种数据源、多种交易环境； 定时获取行情信息并持久化存储； 定时计算预测结果并持久化存储； 定时读取预测结果执行交易；

这是一个基于 Python 与 Qt 的本地桌面应用，用于对“链上/公开的开奖历史数据”做可视化研究： - 实时读取 `history/lottery_history.csv`，解析并清洗最新记录； - 以“下一期预测”+“预测历史”方式展示统计结果，并写入 `预测应用/predictions.csv`； - 自动验证与调参：定期运行 `预测应用/validate_predictions.py`，输出 `validation_report.json` 与 `validation_history.csv`，辅助选择更稳妥的参数； - 桌面级体验：倒计时、状态栏提示、关键时间窗保护，“预测中...”占位避免误导； - 全中文界面与日志，开箱即用。 ### 2. 主要亮点 - **全中文 GUI**：`预测应用/gui_app.py` 基于 PySide6 构建，信息密度高，操作直观； - **预测结果与历史强一致**：统一缓存/写入口径，“下一期预测”与 `predictions.csv` 同源，避免显示错位； - **自动验证与轻量调参**：每新增约 20 期或启动时触发验证，快速输出建议参数并可一键应用； - **多策略融合**：任意位组合统计（AnyDigits）+ 按位置统计（AnyPos）+ 混合器（Hybrid），并引入短窗热度/爆发/重复权重与候选置信； - **关键窗口保护**：开奖/公布前后避免重操作，优先确保界面流畅与可读性； - **稳健日志**：`预测应用/gui_app.log` 记录刷新、对账、验证与参数应用过程。 ### 3. 快速上手（macOS） 1) 克隆/解压到本地后，进入主目录运行： ```bash cd "预测应用" sh start_gui.sh ``` 脚本会创建虚拟环境、安装依赖并启动 GUI。若首次安装耗时稍长，请耐心等待。 2) 数据文件说明： - 历史数据：`history/lottery_history.csv`（应用会自动读取最新行）； - 预测历史：`预测应用/predictions.csv`（应用生成/更新）； - 验证报告：`预测应用/validation_report.json` / `validation_history.csv`（自动验证生成）。 ### 4. 界面与功能说明 - **当前概览**：显示当前最新期号、最近 100 条命中率（两位、三位、同时、三位中两位）。 - **下一期预测**：实时展示“预测中...”占位，待后台计算完成后输出两位/三位候选； - **预测历史表**：展示期号、两位/三位、候选与置信度、以及与历史开奖的对账命中列； - **操作与参数**：支持自动/手动控制，含窗口大小、衰减等参数；提供“快速回测”

本项目面向券商、投研机构、财经媒体及数据运营团队，旨在彻底告别“复制-粘贴-调格式”的低效日报模式。系统每日自动汇总沪深两市最新利好公司公告，智能提取证券代码、公司简称、公告标题、公告类型、发布日期并映射利好类型，一键生成标准化、可打印、可分享的 Excel 报表；支持中文自动换行、列宽自适应、文件名自定义，真正做到了“秒级出表、零差错、零门槛”，大幅提升日报产出效率与专业度。

立项背景和目标​：同花顺作为金融数据服务商，需实时采集股市、基金等公开数据以支持分析决策。本项目旨在开发一个自动化数据采集系统，解决手动获取效率低、易出错的问题。目标包括：采集每日金融数据（如股价、成交量等），涨停板数据，热门概念对应股票。 后续用于自动化每日复盘以及量化交易。 ​软件功能及核心模块​：系统核心功能包括：1) ​数据爬取模块​：基于Python的Scrapy框架，定时抓取同花顺官网、财经API等源；2) ​数据清洗模块​：使用Pandas处理缺失值、去重，确保数据一致性；3) ​存储模块​：将数据写入MySQL数据库，支持JSON格式导出；4) ​监控报警模块​：日志记录失败任务。

爬取数据 智能选择 自动交易机器人 另外有一套简历系统： 简历管理系统 基于MVVM规范和DI依赖注入的简历管理系统，支持Web、小程序、App多端适配。 ## 项目结构 ``` cv-system/ ├── frontend/ # 前端代码 │ ├── web/ # Web端 (React + TypeScript + MVVM + DI) │ ├── mini-program/ # 小程序端 (Taro) │ └── mobile/ # 移动端 (React Native) ├── backend/ # 后端服务 (NestJS + TypeScript + TypeORM) ├── shared/ # 共享代码 ├── docs/ # 文档 └── README.md ``` ## 功能特性 ### 核心功能 1. 用户录入、修改简历 2. 打印简历到PDF或打印机 3. 获取简历公开链接和短地址 4. 控制简历是否在列表中显示 5. 浏览其他公开简历 6. 提供优秀简历模板示例(3套) 7. 支持多种简历内容项

主导报刊采集项目，成功采集了162种报刊的内容及PDF。负责数据处理，采用Scrapy和BS4技术栈，设计并实施了三通道架构以优化分布式数据采集。有效应对反爬机制，通过登录验证和cookie验证确保数据的准确性和完整性。利用pandas进行数据分析，结合正则表达式、机器学习（数据标注）和AI大模型进行深入解析，提升了数据处理的效率和准确性。

以线下授课的方式完成：MySQL、Oracle、GaussDB、Linux、Shell、Hadoop、Hive、Kettle、Oozie、DS、Azkaban、SparkSQL等课程的授课工作，以及后期的学员简历优化工作，以及学员就业辅助工作。 主要带领学生完成数据仓库的建设，离线数据的处理以及数据集市层的指标开发工作。 编写ETL脚本，完成数据的抽取、转换、清洗、加载的工作

1、通过互联网进行深度信息侦查，发现互联网暴漏的大量资产 2、深度模糊测试和Api接口探测，发现大量未授权Api接口，获取海量高价值数据 3、基于密码攻防获取JWT Token敏感信息，利用泄露的敏感信息获取核心一类金融系统管理员权限 4、存在任意文件下载漏洞，可以读取大量银行内部敏感文件 5、钓鱼攻击开展，直接获取银行职员办公电脑权限，并跳转进入银行大数据平台

通过集中抓取neovim插件的标星数量，让用户快速从几百个插件中筛选出拥有1k以上的标星插件，进而得到约几十个插件，从而方便用户进一步对筛选出来的插件进行分析，判断哪些插件是适合自己使用的

本平台利用爬虫技术采集奇货可查，新浪财经、东方财富等金融数据，包括股票、指数、汇率及资讯，通过深度分析实时监控市场动态，为投资者、金融机构及企业提供精准决策支持。系统针对公司固定合作金融机构实现定向推广，提升商业盈利。

对各类的交易策略如三均线，大小周期，macdkdj 共振、成交量、筹码分布、rsi和macd 共振 结合成交量、资金流通和前十大股东占自由流通比例 配合 ddx,ddy 各类主要指指标在结合基本面 {股票的市盈率、净利润、净利润同比，净利润季度环比、营业收入、营业收入同比，营业收入季度环比、是否是社保基金、是否是风险股【如近期大比例减持、三年亏损、即将解禁 久不分红、连续三日以上大比例融券等】过滤等等} 进行分析 有相关的客户可以根据自己的提出的需求后进行开发

在金融数据需求不断增长的背景下，股票数据爬取工具应运而生，为投资者、金融分析师、研究人员及相关机构提供了获取多维度股票数据的便捷途径。这类工具具备丰富且强大的功能，以满足不同用户在股票分析、投资决策、策略研究等方面的需求。

通过模块与数据结构框架，对多功能系统进行统一整合，比如，对数据的读写能力与整理分析能力进行模块化与结构化，然后通过算法及算法优化对相关函数功能进行整合，实现高效与高质量。用户可在使用过程中感受到兼具效率与质量的使用感受。

主要功能：行情数据发送，行情数据接收，高速数据处理，每分钟上百兆的数量处理量，多维分析手段，方便分析师从任意角度提取和分析数据，数量大，速度要求很快。数据复杂，所以需要展现的元素都得进入分析界面。界面展示丰富。

功能模块： 数据加载与初步检查：支持CSV文件输入，快速检测空值、格式错误 智能清洗：自动修复日期（如无效日期"2025-02-31"）、修正负金额、标准化分类 报告生成：输出清洗日志，包含数据量变化、异常记录统计 功能路径： 原始数据 → 加载 → 逐字段清洗（日期/金额/分类/支付方式） → 结果导出 → 可视化报告