金融 爬虫/脚本 软件定制 案例

1. 多源数据路由引擎（系统的“根基”） 该引擎采用**分级降级（Fallback）**机制，确保了金融数据的可用性和准确性。 Tier 1 & 2 (高频)：利用腾讯和新浪的 Web API 获取毫秒级实时价格。 Tier 3 & 4 (深度)：通过 AkShare 和 BaoStock 获取复杂的宏观、财务、K 线历史数据。 标准化处理：解决了 A/港/美股代码格式不一的痛点，将“自然语言输入”转化为“机器可读数据”。 2. AI 全景深度研判（系统的“大脑”） 这是平台最亮点的部分，它将传统的量化数据“喂”给 LLM 进行逻辑转换。 超级 Context 注入：AI 不再是盲目聊天，而是基于实时注入的财务报表、新闻和技术面指标进行“有理有据”的推理。 结构化输出控制： 深度：包含商业模式与财务体检。 速度：提供“一句话散户结论”，适配快节奏决策。 稳定性：后端具备 JSON 提取容错，防止 LLM 输出乱码导致前端崩溃。 3. 智能晚报与推送（系统的“触角”） 解决了用户“主动盯盘”的焦虑，转为“被动接收精华”。 交叉推演：不只是报股价，而是分析“大盘环境”对“个人持仓”的潜在影响，生成明天的操作剧本。 Server 酱集成：利用微信作为通知载体，符合国内用户的使用习惯。

1、立项背景 再生资源行业传统模式存在信息不对称、交易链路繁琐、监管追溯难、资金流转慢等痛点，中小商户与企业间对接效率极低，行业数字化转型需求迫切。同时，国家大力推动循环经济发展，亟需一款集信息服务、业务协同、数据管控于一体的平台，打通再生资源从回收、加工到交易、融资的全链条。 2、核心目标 整合行业资源：汇聚再生资源供需方、物流服务商、金融机构等多方主体，构建行业资源生态； 实现业务闭环：覆盖从立项、合同签订到订单执行、对账、融资的全流程，提升交易效率； 强化监管与风控：通过数据采集与分析，实现交易全流程追溯，降低行业风控风险； 推动数字化升级：为行业提供标准化、智能化的信息服务与业务工具，助力再生资源行业规范化、高效化发展。 1）软件整体功能 平台以 “信息服务 + 业务协同 + 数据管控” 为核心，面向商户、企业、监管 / 管理端三类用户，提供全场景功能支撑。前端基于 Vue3+Vite+TypeScript 构建多端界面，后端以 Spring Boot 为核心拆解为启动、公共、核心、业务、数据抓取五大模块，支撑高可用、高扩展的系统架构。 2）核心功能模块 基础管理模块（核心模块）：覆盖用户 / 角色 / 菜单 / 部门管理、日志、文件、字典配置、定时任务等基础能力，保障平台权限与基础运营，是全系统的支撑底座。 再生资源业务模块（业务模块）：平台核心业务闭环，包含身份管理、合同、订单、发货、收货、对账、发票、应收、融资、风控等全链路功能，实现再生资源业务从发起至完结的全流程管控。 数据采集与对接模块（数据抓取模块）：对接外部 ERP 系统，通过 AI 识别、HTML 解析等技术采集行业外部数据，同步补充平台信息，提升数据完整性。 信息服务模块：提供再生资源行情查询、供需信息发布、行业资讯推送等功能，满足用户信息获取需求，构建行业信息生态。 3、业务流程和功能路径描述 交易协同路径：商户 / 企业发布供需信息→身份认证审核→签订电子合同→生成交易订单→发起发货 / 收货→确认收货→发起对账→开具发票→完成应收结算； 数据采集路径：外部 ERP 系统数据请求→AI 识别验证码→解析业务数据→定时同步至平台数据库→平台数据校验与展示； 风控与融资路径：交易数据汇总→平台风控规则校验→生成企业信用报告→金融机构基于数据提供融资服务→融资回款跟踪。 功能路径支撑 用户端路径：用户登录→权限校验→进入对应功能界面（商户端侧重业务操作，企业端侧重资源管理，管理端侧重监管与配置）→执行功能操作→数据实时同步至数据库； 系统端路径：前端请求→后端接口处理（调用对应模块服务）→数据读写（MySQL / 文件存储）→返回结果→前端展示； 外部对接路径：外部系统请求→数据抓取模块解析→数据校验→存入

专注 Python 量化金融领域，可定制开发多因子选股系统：支持 A 股 / 港股 / 美股多因子模型构建（估值、成长、质量、动量等因子）、因子有效性回测、选股策略自动化运行、每日量化分析报表自动生成（Excel / 可视化）；可实现股票财务数据（净利润 / PE/PB）、资金流向、日内波动率等指标的自动化抓取与分析，适配同花顺等行情软件数据，提供完整的量化策略开发、回测、优化全流程服务，同时可定制 Excel 自动化工具（含规划求解、数据透视、批量处理），满足量化投资、数据分析全场景需求。

开发爬虫程序，采集互联网数据: 1. 使用Python语言，基于Scrapy二次开发了一套适用于公司需求爬虫基础框架 2. 基于以上爬虫基础框架，开发爬虫程序采集各类互联网数据，满足公司需求 3. 基于爬虫开发经验，提供反爬建议

本系统旨在解决个人及小微机构在港股与美股跨市场交易中，行情获取滞后、下单手动操作繁琐以及多币种资产统计不便的痛点。软件集成了行情监控、交易执行与资产管理三大核心模块：利用 Webull/Futu API 实现亚秒级实时行情同步，确保决策及时性 ；深度定制开发交易 UI，支持百分比快捷下单与动态资金滑动分配，极大优化了盘中博弈的执行效率 ；系统支持多账户持仓数据的自动化对账，实时计算盈亏分布并生成可视化报表，实现全自动的资产风险管理闭环。

经验丰富的个人金融数据爬虫开发者，精通Python及Scrapy等爬虫框架。擅长定制化抓取策略，确保数据的准确性与及时性，并能有效处理反爬措施。具备数据分析能力，将爬取的信息转化为有价值的金融洞察，为客户提供可靠的数据支持。

针对企业级异构数据处理中存在的“逻辑黑盒”与“高错误率”痛点，开发了这套基于 LCP 协议的自动化清洗系统。 系统核心功能涵盖： 1. 多源异构数据坍缩：实现 Excel、CSV、JSON 等多种格式数据的极速归一化。 2. 逻辑自洽性校验 (LCP)：通过建立公理化逻辑规则，自动识别并拦截 100% 的逻辑冲突数据（如财务流水不平、时间线重叠等）。 3. 自动化报告生成：清洗过程全程透明，一键导出包含清洗逻辑、异常拦截记录及标准化结果的完整包。

1.立项背景和目标：需要对主流金融网站上的常见金融指标数据进行分析，需要获取实时的数据做量化分析 2.软件功能、核心功能模块的介绍：(1) 爬虫任务定时执行、任务状态检测平台采用dolphinschduler开源框架 (2) 爬取数据采用request,selenium,playwright,rpa,scapy等框架 （3）反爬技术框架采用js逆向、滑块验证码、图片数字验证码、ocr图片识别技术 （4）数据库采用mongoldb,oracle,后端技术采用flask框架 3.业务流程、功能路径描述：爬取主流金融网站的数据、图片、excel文件、html信息，解析、提取、转换其中的数据并落入数据库中，通过接口的形式推送到业务系统做展示

1、立项背景和目标 散户获取股市消息面的渠道分散（新闻联播、财经频道、交易软件、财务报表等），且面对海量资讯时，人类大脑无法在盘中极短时间内完成“阅读->情绪判断->结合盘面->交易决策”的闭环。 本项目旨在解决这一痛点，开发一款“全维量化监控系统”。目标是将国内顶尖短线游资（如“92科比”）的盘面量价心法（硬数据）与基于深度学习的大语言模型（LLM）新闻情感分析（软数据）相结合，实现盘中毫秒级的自动化盯盘与决策辅助。 2、软件功能、核心功能模块的介绍 系统主要包含三大核心模块： 高频行情嗅探模块 (Market Scanner): 绕过繁琐的全市场扫描，直连新浪财经API，实时抓取全市场“高换手率”的活跃资金流向，计算涨跌停家数与市场平均溢价，生成“游资情绪仪表盘”。 量化规则引擎 (Strategy Logic): 基于短线打板心法，内置多重过滤漏斗（剔除ST/退市、锁定5-50元黄金价格带、筛选5%-25%异动换手率、大于2亿成交额的右侧上涨股），精准锁定核心龙头。 AI 舆情雷达模块 (AI News Sentiment): 针对初筛出的龙头股，自动化调用东方财富搜索接口，抓取最近7天的相关新闻。并载入本地部署的 Erlangshen/FinBERT 中文金融自然语言处理模型，对资讯标题进行语义理解，输出“利好/利空/中性”的AI判别及置信度。 3、业务流程、功能路径描述 系统的业务路径为一条高度自动化的流水线： 启动系统 -> 初始化本地NLP大模型 -> 触发定时扫描 -> 拉取新浪实时活跃行情 -> 执行量价策略筛出Top 5目标股 -> 对Top 5目标触发定向新闻爬虫 -> 大模型阅读新闻并打分 -> 融合行情与消息面，终端输出带表情包的可视化决策看板。

这是一款基于 Python 编写的桌面文件统计工具，能够自动扫描用户桌面及其子文件夹，统计文件与文件夹数量、各类文件扩展名分布、总占用空间，并识别体积最大的文件。程序使用系统标准库，无需额外依赖，运行安全高效，适用于 Windows 系统（稍作调整可兼容 macOS/Linux），帮助用户快速掌握桌面文件概况，提升整理与管理效率。

1.背景：每日需要重复下载各部门营销数据、计算净利润等，人工操作耗时需要2-3小时，需要解决低效等问题。 2.目标：自动获取数据，计算结果，自动生成报表发送给部门负责人。 3.主要功能：数据采集、数据清洗、数据计算、报表生成。 4.主要技术：影刀RPA+python。

股票数据获取：实时抓取A股今日涨幅前30和跌幅前30的股票 股票代码、名称、最新价、涨跌额、涨跌幅 热门板块分析：获取近30天热门板块数据 板块名称、热度（涨跌幅）、排名 双模式运行： API模式：直接调用东方财富API（速度快） Selenium模式：浏览器模拟（备用方案，抗检测） 自动切换：API失败时无缝切换到Selenium 防检测机制： 随机User-Agent、代理支持 执行防检测JS脚本（隐藏WebDriver特征） 广告拦截JS脚本 验证码处理框架（预留接口） 定时刷新：每10秒自动更新数据，终端实时显示

1对交易行中新币，合约上线进行监控。 2与手机绑定，一旦上线可以进行提示/响铃等，现在为对iPhone专属barkapp进行通信提示。 3对已关键词筛选过的帖子序号进行数据库存储，防止重复读取。 4可开启代理模式，以及根据调用周期进行监控。

1. 背景：通过机器学习训练自己的投资习惯进行定投的Agent，解放用户的精力和为客户实现盈利。 2. 功能：通过机器学习算法和长期积累的数据训练小模型，通过自动化脚本操作金融平台，为用户自动进行投资，可按用户要求定制止盈和止损策略。 3. 交付成果：此辅助程序为用户提供了极大的便利，解放用户双手，自动化进行执行并且平均每日产生至少15%的收益。

支持数据仓库抽取、调度、ETL流程； 工具元数据库多种支持，包含MySQL、高斯、PG、GP，并且可灵活适配其他数据库； 抽取工具可根据数据库选型适配，可进行单个任务配置、批量任务配置、自动建表、类型校验等； 支持基本数据库MySQL、Hive等； 支持数据库国产化，如达梦、GP、高斯；

有段时间幻想炒股赚钱，于是自研了一套量化交易系统，虽然现实并不理想，但是学了很多新技术，积累了很多经验。 模型研发： 超参数优化框架； 算子生成框架； 自定义高阶算子； 回测功能： 一套模拟交易环境； 极速回测框架； 模型研发与策略回测通用； 丰富的指标记录； 交易功能： 支持多种数据源、多种交易环境； 定时获取行情信息并持久化存储； 定时计算预测结果并持久化存储； 定时读取预测结果执行交易；

这是一个基于 Python 与 Qt 的本地桌面应用，用于对“链上/公开的开奖历史数据”做可视化研究： - 实时读取 `history/lottery_history.csv`，解析并清洗最新记录； - 以“下一期预测”+“预测历史”方式展示统计结果，并写入 `预测应用/predictions.csv`； - 自动验证与调参：定期运行 `预测应用/validate_predictions.py`，输出 `validation_report.json` 与 `validation_history.csv`，辅助选择更稳妥的参数； - 桌面级体验：倒计时、状态栏提示、关键时间窗保护，“预测中...”占位避免误导； - 全中文界面与日志，开箱即用。 ### 2. 主要亮点 - **全中文 GUI**：`预测应用/gui_app.py` 基于 PySide6 构建，信息密度高，操作直观； - **预测结果与历史强一致**：统一缓存/写入口径，“下一期预测”与 `predictions.csv` 同源，避免显示错位； - **自动验证与轻量调参**：每新增约 20 期或启动时触发验证，快速输出建议参数并可一键应用； - **多策略融合**：任意位组合统计（AnyDigits）+ 按位置统计（AnyPos）+ 混合器（Hybrid），并引入短窗热度/爆发/重复权重与候选置信； - **关键窗口保护**：开奖/公布前后避免重操作，优先确保界面流畅与可读性； - **稳健日志**：`预测应用/gui_app.log` 记录刷新、对账、验证与参数应用过程。 ### 3. 快速上手（macOS） 1) 克隆/解压到本地后，进入主目录运行： ```bash cd "预测应用" sh start_gui.sh ``` 脚本会创建虚拟环境、安装依赖并启动 GUI。若首次安装耗时稍长，请耐心等待。 2) 数据文件说明： - 历史数据：`history/lottery_history.csv`（应用会自动读取最新行）； - 预测历史：`预测应用/predictions.csv`（应用生成/更新）； - 验证报告：`预测应用/validation_report.json` / `validation_history.csv`（自动验证生成）。 ### 4. 界面与功能说明 - **当前概览**：显示当前最新期号、最近 100 条命中率（两位、三位、同时、三位中两位）。 - **下一期预测**：实时展示“预测中...”占位，待后台计算完成后输出两位/三位候选； - **预测历史表**：展示期号、两位/三位、候选与置信度、以及与历史开奖的对账命中列； - **操作与参数**：支持自动/手动控制，含窗口大小、衰减等参数；提供“快速回测”

本项目面向券商、投研机构、财经媒体及数据运营团队，旨在彻底告别“复制-粘贴-调格式”的低效日报模式。系统每日自动汇总沪深两市最新利好公司公告，智能提取证券代码、公司简称、公告标题、公告类型、发布日期并映射利好类型，一键生成标准化、可打印、可分享的 Excel 报表；支持中文自动换行、列宽自适应、文件名自定义，真正做到了“秒级出表、零差错、零门槛”，大幅提升日报产出效率与专业度。

立项背景和目标​：同花顺作为金融数据服务商，需实时采集股市、基金等公开数据以支持分析决策。本项目旨在开发一个自动化数据采集系统，解决手动获取效率低、易出错的问题。目标包括：采集每日金融数据（如股价、成交量等），涨停板数据，热门概念对应股票。 后续用于自动化每日复盘以及量化交易。 ​软件功能及核心模块​：系统核心功能包括：1) ​数据爬取模块​：基于Python的Scrapy框架，定时抓取同花顺官网、财经API等源；2) ​数据清洗模块​：使用Pandas处理缺失值、去重，确保数据一致性；3) ​存储模块​：将数据写入MySQL数据库，支持JSON格式导出；4) ​监控报警模块​：日志记录失败任务。

爬取数据 智能选择 自动交易机器人 另外有一套简历系统： 简历管理系统 基于MVVM规范和DI依赖注入的简历管理系统，支持Web、小程序、App多端适配。 ## 项目结构 ``` cv-system/ ├── frontend/ # 前端代码 │ ├── web/ # Web端 (React + TypeScript + MVVM + DI) │ ├── mini-program/ # 小程序端 (Taro) │ └── mobile/ # 移动端 (React Native) ├── backend/ # 后端服务 (NestJS + TypeScript + TypeORM) ├── shared/ # 共享代码 ├── docs/ # 文档 └── README.md ``` ## 功能特性 ### 核心功能 1. 用户录入、修改简历 2. 打印简历到PDF或打印机 3. 获取简历公开链接和短地址 4. 控制简历是否在列表中显示 5. 浏览其他公开简历 6. 提供优秀简历模板示例(3套) 7. 支持多种简历内容项