大数据 软件定制 案例

1. 立项背景和目标 在日常数据分析与信息监测工作中，多个垂直领域的数据（如城市交通拥堵指数、在线编程题库、政府公共资源交易公告）分散在不同平台，手工收集效率低下且难以持续。本项目旨在构建一套可扩展的多源数据采集与可视化分析系统，实现自动化抓取、结构化存储与图表化展示，为交通研究、求职备考、招投标监测等场景提供数据支撑。 2. 软件功能、核心功能模块的介绍 系统包含三大模块： 交通拥堵监测模块：通过高德地图公开API实时获取全国城市拥堵排名、拥堵延迟指数、周环比变化及畅通速度，并利用PyEcharts生成交互式柱状图，直观展示前十名城市的多维指标对比。 题库采集模块：针对牛客网平台，分别爬取“专项练习”“笔试真题”“面试真题”“在线编程”四类题目。支持按知识点ID筛选、设置试卷数量、去重存储，并获取在线编程题的高分Python3代码作为参考。 公共资源交易模块：对接广东省和福建省公共资源交易平台，支持按公告类型（工程建设/政府采购）、页数等参数筛选，破解AES加密响应，提取公告标题、发布时间、来源、公告内容等关键字段，并清洗HTML为纯文本。 3. 业务流程、功能路径描述 用户通过修改脚本头部的配置参数（如爬取页数、题目数量、知识点ID、筛选类型等）即可启动对应模块。爬虫自动请求目标接口，解析JSON或HTML响应，处理反爬机制（签名、加密），提取所需字段，最终输出为JSON或TXT文件。交通模块额外生成HTML图表，可直接在浏览器中交互查看。

主要负责工作为使用 python +强化学习+实现群体智能算法开发后台训练端，在原有的基础上使用C#对网络空间靶场端功能进行再开发,使用现实靶场进行网络渗透，成功获取所需数据和整个靶场的网络情况，辅助同事使用 godot 开发展示端功能，然后结合三端实现此项目 开发攻击端，负责后端开发，使用大模型+意图槽位增加模型开发网络安全助手攻击端功能

猿急送是程序员兼职众包平台，为高效获取平台接单需求立项。脚本可抓取需求标题、薪资、技能要求等信息，完成数据清洗与结构化存储。功能路径为：发起页面请求→解析动态渲染内容→遍历分页→提取关键字段→本地 / 数据库落地保存，实现需求信息自动化采集。

LOL-DeepWinPredictor 是一款基于深度学习的英雄联盟比赛胜率预测系统，面向对局分析与战局决策场景，通过对海量历史对局数据的训练，实现对当前对局胜率的实时预测与可视化展示。核心功能模块分为三部分：一是数据采集模块，使用线程池并发爬取英雄联盟对局数据，通过 json 库完成字段提取与清洗，存储至 MongoDB 复制集保障数据高可用；二是模型预测模块，将 MongoDB 复制集数据通过 RocketMQ 消息队列传输至 Spark 集群进行分布式计算，完成大规模数据的批量推理；三是 Web 可视化模块，使用 Flask 搭建后端服务，前端基于原生 HTML + JavaScript 构建交互界面，集成 ECharts 绘制胜率对比图表，用户可直观查看各英雄组合的胜率分布与趋势分析。整体流程为：爬取数据 → 清洗入库 → 队列调度 → 集群计算 → Web 展示。

该系统采用阿里云技术存储大数据量的国产高分卫星影像数据产品，针对合作单位等需求量的的用户采用websocket 技术通讯,可 进行数据自动推送服务,个人用户可通过网站查询订购到最新的影像数据产品。 业绩: 该产品作为一个大型的遥感数据在线查询订购、数据推送平台，通过近两年的迭代研发和升级,平台功能日益完善,用户数量日趋增 多，在国内同行业领域已处于领先地位。

本项目为政务大厅综合服务平台定制化接口开发项目，旨在解决政务服务中多部门、多系统数据孤岛问题，打通各委办局业务系统间的数据壁垒，实现“一次受理、全网通办”的政务服务目标。项目核心围绕政务大厅业务场景，开发了包括用户身份核验接口、事项受理与流转接口、跨部门数据共享接口、电子证照调用接口、办件进度同步接口等定制化模块，支持与公安、民政、社保、不动产等多个第三方业务系统进行安全、合规的数据交互。业务流程上，通过统一的API网关实现接口请求鉴权、流量控制与日志审计，用户在政务大厅提交的业务申请，可通过定制接口自动完成多部门材料校验、信息比对与结果反馈，大幅缩短业务办理时限，提升政务服务效率与群众办事体验。

1、立项背景和目标 随着业务规模扩大，地址解析、匹配及地理编码请求量激增，传统单一算法难以兼顾准确性与效率。为应对高并发场景下的地址理解需求，本项目旨在构建一套集深度学习、策略融合与离线训练于一体的地理信息处理平台。目标是通过工程化手段打通数据标注、模型训练、在线推理与质量校验全链路，在保证高可用性的同时，支持策略快速迭代与A/B测试，最终提升地址匹配、标准化及搜索服务的准确率与响应速度。 2、软件功能、核心功能模块的介绍 系统核心功能包括地址匹配、地址解析、地址标准化及地点搜索（Place Search）。在模块划分上，应用层提供Geocoding服务接口；策略模块负责前处理、模型请求及初始化；深度学习层基于TensorFlow Serving和PyTorch进行模型推理；底层服务通过负载均衡与流量控制支撑高并发。此外，离线训练模块涵盖数据标注、特征工程与增量训练；线上汇聚模块负责异常检测与排序结果校验；GPU私有云支撑BERT等离线AI分析任务。 3、业务流程、功能路径描述 典型业务流程如下：用户发起地址匹配请求后，请求经接入层负载均衡分发至策略模块，策略模块先进行地址解析与前处理，随后调用深度学习模型（TensorFlow/PyTorch）进行推理，返回标准化地址及匹配结果。同时，线上调用记录存入历史库，质量校验模块通过ES日志对空值、偏差及排序结果进行检测。异常数据回流至离线训练链路，经过人工标注、数据格式转换及增量训练后，更新至在线模型服务，形成"请求→推理→校验→回流→迭代"的闭环流程。

立项背景&目标： 1.通过优化的架构和流程，打通云端和本地数据连接，提高LSEG内部不同金融产品的自动化 2.持续优化产品用户的工作效率，降低人力成本 3.通过ETL，NLP，ML等工具和技术，持续优化数据质量 业务流程： 1.通过Boomi订阅SNS获取产品的云端数据，通过规则提取数据，存放到AWS S3 2.通过其他组件如格式转化等，进一步提取数据，进行NLP，ML等数据优化，存放到AWS S3 3.业务端通过产品界面识别文档关键词句信息，再次利用Boomi进行标准化和数据质量审核 4.合格的业务数据存放到本地数据库

基于条件变分自编码器（CVAE）的人脸图像生成技术深入。 通过构建CVAE模型，对人脸数据集进行预处理后开展模型训练，采用重构损失与KL散度以及二者结合的总损失函数，通过ReLU优化算法进行优化，以及梯度裁剪提升训练的稳定性和收敛性，最后通过网格图像以及FID对生成的图像进行评估。 该模型在生成人脸图像质量和多样性方面表现良好，能够有效实现人脸属性编辑、人脸合成等应用。

1.依托已有的数据中台，对航班运营数据（航班、客票、成本、补贴等），进行汇总、清洗后，提供AI问数的功能； 2.支持各部门各层级业务人员通过自然语言，查询其权限范围内的数据，并形成表格及数据统计图； 3.一期完成了多轮问数、报表自定义、推荐问题、编辑个人指标、问答评分等功能。

为响应智慧城市建设、房地产行业数字化转型需求，解决传统房产交易信息不透明、流程繁琐、供需匹配低效、监管难度大等痛点，特立项打造城市房产平台。平台核心目标是构建“数据一体化、业务一体化”的智慧房产服务体系，整合城市房产全链条资源，实现房源真实可溯、交易高效便捷、监管精准有力，为市民、房产从业者、监管部门提供全方位服务，推动城市房地产市场规范健康高质量发展，助力数字住房建设落地。除核心房产平台业务外，公司另一大块核心业务为数据服务，重点面向银行、政府等机构提供专业数据评估服务，为银行房贷审批、风险管控提供房产价值、产权资质等精准数据评估支撑，为政府房地产市场调控、政策制定提供权威数据参考。平台整体涵盖基础服务、核心交易、监管辅助、增值服务四大类软件功能，核心模块包括房源管理、交易服务、智能匹配与搜索、监管与数据分析、增值服务：房源管理模块实现房源全生命周期管理，通过OCR识别、人脸识别等技术核验房源真实性，生成“一房一码”，杜绝虚假房源；交易服务模块贯通新房、二手房、租赁全场景，提供在线预约看房、电子合同签署、交易资金托管等服务，保障交易安全高效；智能匹配与搜索模块支持多维度筛选和个性化推荐，结合地图功能直观展示房源及周边配套；监管与数据分析模块为监管部门提供实时监控、违规核查功能，为运营者提供数据支撑，同时也为公司数据服务业务积累核心数据资源；增值服务模块整合金融、法律、家装等服务，实现“一站式”闭环。平台业务流程围绕“房源录入—核验—展示—匹配—交易—监管”全链路形成闭环，房源供给端录入信息并完成核验后上架，用户通过平台找房、预约看房，达成意向后签署合同、办理资金托管，交易完成后更新房源状态并提供后续增值服务，全程支持用户举报反馈，保障业务规范。核心功能路径清晰，涵盖房源管理、用户找房交易、监管数据分析、增值服务四大路径，各环节衔接顺畅，全面满足不同用户群体的核心需求，同时与公司数据服务业务形成协同，推动房产服务与数据服务双赛道数字化、智能化升级。

1. 利用 request 请求获取政府部门多个栏目信息 2. 通过 xpath、bs4 等模块解析 html 数据 3. 通过 mysql 存储过程存储数据 4. 利用 DrissionPage、Playwright 等自动化工具 抓取数据 5. 通过数据接口抓取并存储企某查网站数据 6. 将获取的数据进行数据清洗 7. 同时负责一些数据后台网页端的功能测试项目

- Python爬虫 - Web自动化/浏览器爬虫 - 动态渲染采集 - Scrapy工程化采集 - 数据清洗与结构化存储（CSV/表格） - 反爬处理/登录态维持 - 业务背景：对商业地产行业数据进行汇总分析，需要批量获取赢商大数据平台的项目库信息，形成可分析的数据集（项目维度字段齐全、可导入Excel/BI）。 - 核心功能： - 项目列表翻页采集：按页获取项目入口链接，支持配置页数批量抓取 - 项目详情解析：进入详情页抽取关键字段并做字段名清洗与映射 - 采集稳定性：动态渲染等待、限速控制、低并发策略减少风控触发 - 数据落地：按统一字段写入 CSV，支持追加写入与断点续跑

本项目面向传统道路巡检依赖人工、效率低且主观性强的问题，设计并实现了一套基于深度学习的道路病害智能检测系统，旨在提升道路养护的自动化与智能化水平。 系统核心功能包括道路图像中裂缝、坑洞等典型病害的自动识别与定位。整体功能模块分为：数据处理模块、模型训练模块、检测推理模块及结果可视化模块。用户可上传道路图像或视频，系统自动完成病害检测并输出带标注的结果图像。 业务流程为：首先对原始数据进行清洗与标注，并通过数据增强扩展样本多样性；随后基于YOLOv8进行模型训练与优化；在推理阶段输入图像，模型输出病害类别与边界框；最终通过可视化模块展示检测结果，辅助道路养护决策。

专注 Python 量化金融领域，可定制开发多因子选股系统：支持 A 股 / 港股 / 美股多因子模型构建（估值、成长、质量、动量等因子）、因子有效性回测、选股策略自动化运行、每日量化分析报表自动生成（Excel / 可视化）；可实现股票财务数据（净利润 / PE/PB）、资金流向、日内波动率等指标的自动化抓取与分析，适配同花顺等行情软件数据，提供完整的量化策略开发、回测、优化全流程服务，同时可定制 Excel 自动化工具（含规划求解、数据透视、批量处理），满足量化投资、数据分析全场景需求。

项目前端实施 实现城市治理一张图可视，成功交付核心模块，接入GIS地图服务，为城市治理提供可视化决策支持，构建了城市总览、精细化治理、联动指挥、生态环保，智慧党建等多个模块的数字孪生可视化展示模块，为城市整理和指挥调度提供数据支撑和技术支持。

该工具负责其他数据库数据迁移到某国产数据库。支持oracle,mysql,sqlserver,db2,postgresql,file,greeplum等不同源库数据迁移到某国产数据库，同时支持国产数据导出到各种格式文件，并且支持表结构，表数据并发迁移，以提高迁移性能，也提供迁移监控界面；支持数据迁移后数据比较，有数据精确比较和md5比较方式。功能包括： 1. 支持关系数据库对象(表，视图，索引，存储过程，触发器，表数据）迁移到国产数据库 2. 支持文件数据迁移到国产数据库 3. 支持断点续迁

开发爬虫程序，采集互联网数据: 1. 使用Python语言，基于Scrapy二次开发了一套适用于公司需求爬虫基础框架 2. 基于以上爬虫基础框架，开发爬虫程序采集各类互联网数据，满足公司需求 3. 基于爬虫开发经验，提供反爬建议

软件功能、核心功能模块介绍： 1. 数据概览模块：展示核心业务指标，包括总营收、订单量、用户数、转化率等关键KPI，支持实时数据更新和趋势对比。 2. 趋势分析模块：提供多维度数据趋势图表，支持日周月年等不同时间维度的数据对比分析，帮助识别业务规律。 3. 实时数据监控：展示实时交易数据、用户活跃度、系统运行状态等动态数据，确保业务健康运行。 4. 区域分布分析：通过地图热力图展示业务区域分布情况，支持钻取到省市区级别，辅助市场决策。 5. 告警中心：实时展示系统异常和业务告警信息，支持告警等级分类和快速响应。

ATC OS 是一个基于PyQt6的本地AI操作系统，搭载八个专职AI模型分工协作——模型一作为聊天翻译官统筹调度，模型二负责创作执行，模型三处理推理逻辑，模型四整合科学知识，模型五负责设计，模型六调度窗口应用，模型七实时监控设备状态，模型八联网学习迭代系统。 界面采用概念产品背景配青色玻璃拟态风格，内置十二个状态指示灯监控模型在线状态与系统负载，顶部info Bar实时推送故障信息，本地接入Llama模型实现离线对话，并配有 ATC CORE 启动动画与开启引导序列。整体定位为可刷入启动盘的独立AI操作系统雏形。