大数据 Windows应用 软件定制 案例

针对企业手动采集公开数据效率低、易出错的痛点，开发了这套通用合规数据采集系统。核心功能包括静态网页数据自动抓取、数据清洗去重、Excel/CSV结构化导出、批量任务调度与实时进度显示。系统全程遵守robots协议与网站访问频率限制，采用Python+Requests实现稳定请求，确保合规爬取公开数据，无需客户额外配置环境即可运行。

1. 支持上传 Excel 文件或输入网址，自动抓取网页数据并解析为结构化表格 2. 内置京东、淘宝、拼多多、1688、抖音、小红书等平台专用爬虫，自动识别平台并提取数据 3. 提供自定义 CSS 选择器功能，支持用户手动指定提取规则 4. 自动分析数据特征，推荐合适的可视化图表类型 5. 一键生成 HTML 数据分析报告，支持预览和下载

首先进行的是星载PS-InSAR技术研究， 在技术研究的基础上完成生产软件的开发， 然后进行批量化的全球数据的处理，包括云服务和Linux服务器部署任务等。 属于课题组独立专研项目：永久散射体库生产软件开发。

针对工业现场设备数据实时监控的需求，解决传统监控工具界面简陋、数据刷新不及时的问题，面向工厂运维、设备调试、工业自动化等场景，为工程师提供直观、高效的设备运行状态监测方案，助力工业生产的数字化运维。项目包含主数据实时监测面板、多维度副数据监测区、数据可视化进度条、自动时间戳更新四大核心模块；支持500ms级高频数据刷新，模拟工业传感器的实时采集效果，采用深色科技风UI设计，适配工业现场的长时间监控需求，可直观展示压力、温度、转速等多类工业参数。

1. 立项背景和目标 在日常数据分析与信息监测工作中，多个垂直领域的数据（如城市交通拥堵指数、在线编程题库、政府公共资源交易公告）分散在不同平台，手工收集效率低下且难以持续。本项目旨在构建一套可扩展的多源数据采集与可视化分析系统，实现自动化抓取、结构化存储与图表化展示，为交通研究、求职备考、招投标监测等场景提供数据支撑。 2. 软件功能、核心功能模块的介绍 系统包含三大模块： 交通拥堵监测模块：通过高德地图公开API实时获取全国城市拥堵排名、拥堵延迟指数、周环比变化及畅通速度，并利用PyEcharts生成交互式柱状图，直观展示前十名城市的多维指标对比。 题库采集模块：针对牛客网平台，分别爬取“专项练习”“笔试真题”“面试真题”“在线编程”四类题目。支持按知识点ID筛选、设置试卷数量、去重存储，并获取在线编程题的高分Python3代码作为参考。 公共资源交易模块：对接广东省和福建省公共资源交易平台，支持按公告类型（工程建设/政府采购）、页数等参数筛选，破解AES加密响应，提取公告标题、发布时间、来源、公告内容等关键字段，并清洗HTML为纯文本。 3. 业务流程、功能路径描述 用户通过修改脚本头部的配置参数（如爬取页数、题目数量、知识点ID、筛选类型等）即可启动对应模块。爬虫自动请求目标接口，解析JSON或HTML响应，处理反爬机制（签名、加密），提取所需字段，最终输出为JSON或TXT文件。交通模块额外生成HTML图表，可直接在浏览器中交互查看。

专注 Python 量化金融领域，可定制开发多因子选股系统：支持 A 股 / 港股 / 美股多因子模型构建（估值、成长、质量、动量等因子）、因子有效性回测、选股策略自动化运行、每日量化分析报表自动生成（Excel / 可视化）；可实现股票财务数据（净利润 / PE/PB）、资金流向、日内波动率等指标的自动化抓取与分析，适配同花顺等行情软件数据，提供完整的量化策略开发、回测、优化全流程服务，同时可定制 Excel 自动化工具（含规划求解、数据透视、批量处理），满足量化投资、数据分析全场景需求。

该工具负责其他数据库数据迁移到某国产数据库。支持oracle,mysql,sqlserver,db2,postgresql,file,greeplum等不同源库数据迁移到某国产数据库，同时支持国产数据导出到各种格式文件，并且支持表结构，表数据并发迁移，以提高迁移性能，也提供迁移监控界面；支持数据迁移后数据比较，有数据精确比较和md5比较方式。功能包括： 1. 支持关系数据库对象(表，视图，索引，存储过程，触发器，表数据）迁移到国产数据库 2. 支持文件数据迁移到国产数据库 3. 支持断点续迁

1、立项背景和目标 随着高校招生规模不断扩大，学生信息管理面临数据量大、查询效率低、信息更新滞后等问题。传统的人工管理或Excel表格方式已无法满足现代化教务管理需求。本项目旨在开发一套基于Java Swing的学生信息管理系统，实现学生信息的电子化、自动化管理。系统采用图形化界面，支持学生信息的增删改查、多维度查询和统计分析功能，同时实现MySQL数据库与TXT文件双重数据存储，确保数据安全可靠。目标是建立一个操作简单、功能完整、运行稳定的学生信息管理平台，提高教务管理效率，为高校信息化建设提供技术支持。 2、软件功能、核心功能模块的介绍 本系统包含四大核心模块： (1) 学生信息管理模块：实现学生信息的完整生命周期管理，包括学号、姓名、年龄、性别、籍贯、年级、专业等7个核心字段的增删改查操作。支持字段合法性验证，如学号格式验证（8位数字）、年龄范围验证（1-99岁）、性别验证（男/女）等。 (2) 数据存储模块：采用MySQL数据库与TXT文件双存储机制，所有操作自动同步到两种存储介质。数据库负责高效查询和复杂统计，文件作为备份确保数据在数据库异常时可恢复。系统初始包含200条以上测试数据。 (3) 查询展示模块：支持三种查询方式：全部学生展示、按专业筛选、按年级筛选。查询结果实时显示在表格中，支持快速定位目标学生群体。 (4) 统计分析模块：提供多维度的数据统计功能，包括年龄分布统计（分段统计：18-20岁、21-23岁、24-26岁、27岁以上）、男女比例统计（显示人数和百分比）、籍贯分布统计（各地人数排名），帮助管理者掌握学生整体情况。 3、业务流程、功能路径描述 用户启动系统后，进入主界面三个标签页： 管理页面：用户可查看所有学生列表，选择表格中的学生自动填充表单，点击“添加”可录入新学生信息（系统自动验证字段合法性），点击“更新”可修改选中学生信息，点击“删除”需二次确认后删除记录。所有操作实时同步到数据库和文件。 查询页面：用户选择查询类型（全部/按专业/按年级），输入查询条件后点击“查询”，系统执行SQL查询并在表格中展示结果，同时弹出查询结果数量提示。 统计页面：用户点击“刷新统计”按钮，系统从数据库读取数据并计算年龄分布、性别比例、籍贯分布，以文本形式清晰展示统计结果，帮助管理者快速掌握学生构成。

1. 立项背景和目标： 日常需要监控特定关键词的新闻动态，但手动搜索效率低。本工具实现自动抓取联合早报新闻，支持关键词搜索和首页热闻获取，帮助用户快速获取最新资讯。 2. 软件功能、核心功能模块： - 电脑版：输入关键词，自动抓取新闻，导出Excel文件，支持打包成exe独立运行 - 手机版：安卓APK，输入关键词获取新闻列表，点击标题直接跳转浏览器阅读原文 - 支持首页热闻获取（无需关键词） - 自动去重、实时进度显示 3. 业务流程、功能路径： 用户打开软件 → 输入关键词（或点击首页按钮）→ 程序抓取新闻 → 显示结果列表 → 电脑版导出Excel，手机版点击跳转原文

【项目背景】 某电商公司需要实时监控竞品价格变化，原本人工收集需要4小时/天，效率低且容易出错。客户需要一套自动化系统来替代人工。 【核心功能】 1. 多平台数据采集：支持淘宝、京东、拼多多等5个电商平台，1000+商品同时监控 2. 定时自动抓取：每日早中晚3次自动更新，支持自定义采集频率 3. 价格预警通知：当竞品价格波动超过设定阈值（如5%），自动发送微信/邮件提醒 4. 数据导出报表：支持Excel/PDF格式导出，包含价格趋势图表、对比分析 5. 可视化数据看板：实时展示价格分布、波动排行、历史趋势等核心指标 【业务流程】 需求分析→爬虫开发→数据清洗→入库存储→前端展示→预警通知→报表导出 【项目成果】 系统上线后，数据采集时间从4小时缩短至10分钟，效率提升96%，年节省人力成本15万元，数据准确率达99.5%以上。

独立于Java服务端的Python控制器，可在文件内部无权限的情况下输入指令控制整个文件（基于Python拦截原版服务端指令），可获取运行程序电脑的状态指标，也可关闭活重启服务端，可以并行备份存档，也可优化服务端占用内存，用于控制 Minecraft 服务器的一个 Python 工具。运行于服务端之上，仅接管服务端输入输出，无需修改服务端即可实现各种插件功能。保留原汁原味的 Minecraft 原版特性

因为我朋友给我拉了一个minecraft服务器管理所以我就顺手给他做了一个启动器 实际上就是一个公式化的登录加上一个运行游戏本体 非要说什么就是用了小组件的方式能让玩家自定义一些ui但是也没有多少小组件

2023年以业务达成及渠道经营指标建设为主，后续逐步扩展支持财务、运营、客户、风险等管理建设成为“一站式”决策支持管理系统。实现精细化管理，可下钻到片区、分公司、支公司、营业部/组、达成率、升降排序等分析。天安人寿管理驾驶舱项目分为pc端和移动端，主要由主要由综合管理、机构管理、渠道管理，产品管理，流程管理，消息中心、权限中心等模块组成

1.是设计并实现互操作工具的核心功能模块，如重定向管理、切换控制、邻区配置检查与优化等。 2.与现有网络管理系统集成，确保工具能够无缝接入并高效运行。 3.开展实地测试与验证，根据测试结果不断优化工具性能与稳定性。 4.提供用户培训与支持服务，确保用户能够熟练使用工具进行网络优化工作。 5.从爱立信网络管理系统中准确提取4G与5G间的互操作相关参数，确保数据的完整性和准确性。 6.根据既定的核查规则策略，对提取的参数进行逐一比对与分析，这些规则策略可能涵盖切换阈值、邻区配置、频率优先级等多个方面。 7.对核查结果进行统计汇总，形成清晰的报告，明确指出互操作参数中存在的问题及潜在优化点。

项目说明： 该项目基于C++和QT进行编写，主要用于针对大量文件命名杂乱的批处理操作。达到进一步减少重复性工作和提升工作效率。 主要功能： 1.添加多个文件到处理列表 2.替换文件名中的特定字符串 3.添加前缀和后缀 4.序号模式重命名 5.实时预览新文件名

LLM微调，CV，NLP多个项目经历： yolov8，yolov11，yolov12，yolo26应用，优化，集成 swin-tf，U-net，VIT分割，识别，分类，标注 RAG，情感分类，分词，生词，熟练应用BERT 可嵌入到软件，网页中，需后端 可接入一些LLM（如GPT，DS等）的API 可接中型/小型软件开发 可接科研项目，论文复现，AI/大数据/数据分析都可

此平台以智能网联汽车落地应用为抓手，通过广泛开放应用场景，建设“全域联动、多场景应用、多维度考核”的自动驾驶运营监管平台，构建具有实用性、特色型的质量网联汽车监管应用综合平台。 平台通过融合交通路况数据、路侧感知数据、车辆状态数据以及第三方数据等多维度数据源进行全面的数据采集、汇聚和管理，通过数据分析、挖掘以及可视化展示等方式，并融合现在通信与网络技术，实现车、路、人、云端等智能信息的交换、共享，具备智能数据分析、智能化监管、多维度考核、协同运营管理等功能。平台实现的功能包含：拥堵态势感知监测、车辆运行监测、数据质量监管、企业测试管理、信息监管审批管理、车辆事故监测、数据共享监管、多维度数据报表管理、数据总览监控、考核管理、知识库以及移动端应用等功能体系。平台整体可实现安全、高效、人性化的监管需求。

随着企业发展，商务快递发件量不断增加，企业的快递成本也随之上升，从快递记录到成本监控，快递管理已成为了一项复杂的工作，快递管理优化迫在眉睫，多组织发件，渠道不统一；快递收发管理乱，易出错；统计周期不一致，对账难；员工件/企业件难区分，快递成本增加；本项目致力于为企业提供高效便捷、轻量灵活的精细化快递管家服务。可协助监管企业快递收发，使企业快递成本可控、对账更轻松，打造企业一站式快递服务平台，为企业客户提供多元化、专业化的寄递服务体验。 系统来源：公众号、小程序、数字商店、web端。系统主要模块包括：企业管理、加密机对接、订单管理、基础信息管理、综合统计、新建订单（下单、导入、导出）、通知中心、短信模板列表、数字商店、通用接口沙箱、通用接口外部对接、通用接口管理、组织管理、UNP管理、内陆及国际件管理、数据看板、物料管理、需求管理、快件管理、行政区管理、任务中心、系统管理等

个人Python训练，通过Python编码进行今日头条的模拟登录，其中用到了多个模块，如selenium模块，同时涉及了利用xpath进行元素定位的相关操作，注意要确定定位的准确性和简洁性，值得一提的是该程序还存在一定的不足和缺陷，比如无法破解验证码的问题。

个人Python编程练习，熟悉selenium的使用过程，了解selenium的优势，加深对Python爬虫的理解，selenium适用于加入了对Python爬虫进行了反爬操作的网页，如案例网页若直接利用爬虫抓取网页内容会被创宇盾拦截，利用selenium能够处理大多数反爬操作，增强了python爬虫的可操作范围。