大数据 软件定制 案例

1、立项背景和目标 随着业务规模扩大，地址解析、匹配及地理编码请求量激增，传统单一算法难以兼顾准确性与效率。为应对高并发场景下的地址理解需求，本项目旨在构建一套集深度学习、策略融合与离线训练于一体的地理信息处理平台。目标是通过工程化手段打通数据标注、模型训练、在线推理与质量校验全链路，在保证高可用性的同时，支持策略快速迭代与A/B测试，最终提升地址匹配、标准化及搜索服务的准确率与响应速度。 2、软件功能、核心功能模块的介绍 系统核心功能包括地址匹配、地址解析、地址标准化及地点搜索（Place Search）。在模块划分上，应用层提供Geocoding服务接口；策略模块负责前处理、模型请求及初始化；深度学习层基于TensorFlow Serving和PyTorch进行模型推理；底层服务通过负载均衡与流量控制支撑高并发。此外，离线训练模块涵盖数据标注、特征工程与增量训练；线上汇聚模块负责异常检测与排序结果校验；GPU私有云支撑BERT等离线AI分析任务。 3、业务流程、功能路径描述 典型业务流程如下：用户发起地址匹配请求后，请求经接入层负载均衡分发至策略模块，策略模块先进行地址解析与前处理，随后调用深度学习模型（TensorFlow/PyTorch）进行推理，返回标准化地址及匹配结果。同时，线上调用记录存入历史库，质量校验模块通过ES日志对空值、偏差及排序结果进行检测。异常数据回流至离线训练链路，经过人工标注、数据格式转换及增量训练后，更新至在线模型服务，形成"请求→推理→校验→回流→迭代"的闭环流程。

立项背景&目标： 1.通过优化的架构和流程，打通云端和本地数据连接，提高LSEG内部不同金融产品的自动化 2.持续优化产品用户的工作效率，降低人力成本 3.通过ETL，NLP，ML等工具和技术，持续优化数据质量 业务流程： 1.通过Boomi订阅SNS获取产品的云端数据，通过规则提取数据，存放到AWS S3 2.通过其他组件如格式转化等，进一步提取数据，进行NLP，ML等数据优化，存放到AWS S3 3.业务端通过产品界面识别文档关键词句信息，再次利用Boomi进行标准化和数据质量审核 4.合格的业务数据存放到本地数据库

基于条件变分自编码器（CVAE）的人脸图像生成技术深入。 通过构建CVAE模型，对人脸数据集进行预处理后开展模型训练，采用重构损失与KL散度以及二者结合的总损失函数，通过ReLU优化算法进行优化，以及梯度裁剪提升训练的稳定性和收敛性，最后通过网格图像以及FID对生成的图像进行评估。 该模型在生成人脸图像质量和多样性方面表现良好，能够有效实现人脸属性编辑、人脸合成等应用。

1.依托已有的数据中台，对航班运营数据（航班、客票、成本、补贴等），进行汇总、清洗后，提供AI问数的功能； 2.支持各部门各层级业务人员通过自然语言，查询其权限范围内的数据，并形成表格及数据统计图； 3.一期完成了多轮问数、报表自定义、推荐问题、编辑个人指标、问答评分等功能。

为响应智慧城市建设、房地产行业数字化转型需求，解决传统房产交易信息不透明、流程繁琐、供需匹配低效、监管难度大等痛点，特立项打造城市房产平台。平台核心目标是构建“数据一体化、业务一体化”的智慧房产服务体系，整合城市房产全链条资源，实现房源真实可溯、交易高效便捷、监管精准有力，为市民、房产从业者、监管部门提供全方位服务，推动城市房地产市场规范健康高质量发展，助力数字住房建设落地。除核心房产平台业务外，公司另一大块核心业务为数据服务，重点面向银行、政府等机构提供专业数据评估服务，为银行房贷审批、风险管控提供房产价值、产权资质等精准数据评估支撑，为政府房地产市场调控、政策制定提供权威数据参考。平台整体涵盖基础服务、核心交易、监管辅助、增值服务四大类软件功能，核心模块包括房源管理、交易服务、智能匹配与搜索、监管与数据分析、增值服务：房源管理模块实现房源全生命周期管理，通过OCR识别、人脸识别等技术核验房源真实性，生成“一房一码”，杜绝虚假房源；交易服务模块贯通新房、二手房、租赁全场景，提供在线预约看房、电子合同签署、交易资金托管等服务，保障交易安全高效；智能匹配与搜索模块支持多维度筛选和个性化推荐，结合地图功能直观展示房源及周边配套；监管与数据分析模块为监管部门提供实时监控、违规核查功能，为运营者提供数据支撑，同时也为公司数据服务业务积累核心数据资源；增值服务模块整合金融、法律、家装等服务，实现“一站式”闭环。平台业务流程围绕“房源录入—核验—展示—匹配—交易—监管”全链路形成闭环，房源供给端录入信息并完成核验后上架，用户通过平台找房、预约看房，达成意向后签署合同、办理资金托管，交易完成后更新房源状态并提供后续增值服务，全程支持用户举报反馈，保障业务规范。核心功能路径清晰，涵盖房源管理、用户找房交易、监管数据分析、增值服务四大路径，各环节衔接顺畅，全面满足不同用户群体的核心需求，同时与公司数据服务业务形成协同，推动房产服务与数据服务双赛道数字化、智能化升级。

1. 利用 request 请求获取政府部门多个栏目信息 2. 通过 xpath、bs4 等模块解析 html 数据 3. 通过 mysql 存储过程存储数据 4. 利用 DrissionPage、Playwright 等自动化工具 抓取数据 5. 通过数据接口抓取并存储企某查网站数据 6. 将获取的数据进行数据清洗 7. 同时负责一些数据后台网页端的功能测试项目

- Python爬虫 - Web自动化/浏览器爬虫 - 动态渲染采集 - Scrapy工程化采集 - 数据清洗与结构化存储（CSV/表格） - 反爬处理/登录态维持 - 业务背景：对商业地产行业数据进行汇总分析，需要批量获取赢商大数据平台的项目库信息，形成可分析的数据集（项目维度字段齐全、可导入Excel/BI）。 - 核心功能： - 项目列表翻页采集：按页获取项目入口链接，支持配置页数批量抓取 - 项目详情解析：进入详情页抽取关键字段并做字段名清洗与映射 - 采集稳定性：动态渲染等待、限速控制、低并发策略减少风控触发 - 数据落地：按统一字段写入 CSV，支持追加写入与断点续跑

本项目面向传统道路巡检依赖人工、效率低且主观性强的问题，设计并实现了一套基于深度学习的道路病害智能检测系统，旨在提升道路养护的自动化与智能化水平。 系统核心功能包括道路图像中裂缝、坑洞等典型病害的自动识别与定位。整体功能模块分为：数据处理模块、模型训练模块、检测推理模块及结果可视化模块。用户可上传道路图像或视频，系统自动完成病害检测并输出带标注的结果图像。 业务流程为：首先对原始数据进行清洗与标注，并通过数据增强扩展样本多样性；随后基于YOLOv8进行模型训练与优化；在推理阶段输入图像，模型输出病害类别与边界框；最终通过可视化模块展示检测结果，辅助道路养护决策。

专注 Python 量化金融领域，可定制开发多因子选股系统：支持 A 股 / 港股 / 美股多因子模型构建（估值、成长、质量、动量等因子）、因子有效性回测、选股策略自动化运行、每日量化分析报表自动生成（Excel / 可视化）；可实现股票财务数据（净利润 / PE/PB）、资金流向、日内波动率等指标的自动化抓取与分析，适配同花顺等行情软件数据，提供完整的量化策略开发、回测、优化全流程服务，同时可定制 Excel 自动化工具（含规划求解、数据透视、批量处理），满足量化投资、数据分析全场景需求。

项目前端实施 实现城市治理一张图可视，成功交付核心模块，接入GIS地图服务，为城市治理提供可视化决策支持，构建了城市总览、精细化治理、联动指挥、生态环保，智慧党建等多个模块的数字孪生可视化展示模块，为城市整理和指挥调度提供数据支撑和技术支持。

该工具负责其他数据库数据迁移到某国产数据库。支持oracle,mysql,sqlserver,db2,postgresql,file,greeplum等不同源库数据迁移到某国产数据库，同时支持国产数据导出到各种格式文件，并且支持表结构，表数据并发迁移，以提高迁移性能，也提供迁移监控界面；支持数据迁移后数据比较，有数据精确比较和md5比较方式。功能包括： 1. 支持关系数据库对象(表，视图，索引，存储过程，触发器，表数据）迁移到国产数据库 2. 支持文件数据迁移到国产数据库 3. 支持断点续迁

开发爬虫程序，采集互联网数据: 1. 使用Python语言，基于Scrapy二次开发了一套适用于公司需求爬虫基础框架 2. 基于以上爬虫基础框架，开发爬虫程序采集各类互联网数据，满足公司需求 3. 基于爬虫开发经验，提供反爬建议

软件功能、核心功能模块介绍： 1. 数据概览模块：展示核心业务指标，包括总营收、订单量、用户数、转化率等关键KPI，支持实时数据更新和趋势对比。 2. 趋势分析模块：提供多维度数据趋势图表，支持日周月年等不同时间维度的数据对比分析，帮助识别业务规律。 3. 实时数据监控：展示实时交易数据、用户活跃度、系统运行状态等动态数据，确保业务健康运行。 4. 区域分布分析：通过地图热力图展示业务区域分布情况，支持钻取到省市区级别，辅助市场决策。 5. 告警中心：实时展示系统异常和业务告警信息，支持告警等级分类和快速响应。

ATC OS 是一个基于PyQt6的本地AI操作系统，搭载八个专职AI模型分工协作——模型一作为聊天翻译官统筹调度，模型二负责创作执行，模型三处理推理逻辑，模型四整合科学知识，模型五负责设计，模型六调度窗口应用，模型七实时监控设备状态，模型八联网学习迭代系统。 界面采用概念产品背景配青色玻璃拟态风格，内置十二个状态指示灯监控模型在线状态与系统负载，顶部info Bar实时推送故障信息，本地接入Llama模型实现离线对话，并配有 ATC CORE 启动动画与开启引导序列。整体定位为可刷入启动盘的独立AI操作系统雏形。

一、立项背景与目标 1.1 立项背景 随着平台业务规模的快速扩张，传统的离线数据分析模式已无法满足业务对数据时效性的迫切需求。业务运营团队需要分钟级甚至秒级的实时数据反馈来支撑决策，而现有的T+1离线分析模式存在明显的数据滞后性，导致运营策略调整滞后、用户体验优化不及时、市场机会错失等问题。 在此背景下，亟需构建一套批流一体（Batch-Stream Unification）的实时数仓平台，通过统一的技术栈和计算引擎，实现实时数据与离线数据的融合处理，为客户提供全链路、全时效的数据分析服务。 1.2 项目目标 核心目标： 实时性：实现秒级延迟的实时数据处理，支撑实时用户访问数、实时下单数等关键业务指标的即时呈现 一致性：通过统一的数据源和计算逻辑，消除实时与离线数据的口径差异，确保数据分析结果的一致性 业务目标： 为运营团队提供实时业务监控能力，实现数据驱动的即时决策 为产品团队提供用户行为分析能力，支持产品功能优化与用户体验提升 二、软件功能概述 欧冶分析中心实时数仓是一套企业级批流一体大数据分析平台，采用业界主流的Lambda架构演进方案，结合Flink的流批一体能力，为客户提供从数据采集、处理、存储到服务的全栈式数据分析解决方案。 实时业务流程 实时业务流程 流程一：实时用户行为分析流程 用户访问平台 → 前端埋点采集 → 日志异步上报 → 服务器日志文件 → Kafka消息队列 → Flink实时写入 → MySQL查询 → 前端数据展示 (数据缓冲) (聚合计算) (结果存储) (Dashboard)

1、立项背景和目标 随着高校招生规模不断扩大，学生信息管理面临数据量大、查询效率低、信息更新滞后等问题。传统的人工管理或Excel表格方式已无法满足现代化教务管理需求。本项目旨在开发一套基于Java Swing的学生信息管理系统，实现学生信息的电子化、自动化管理。系统采用图形化界面，支持学生信息的增删改查、多维度查询和统计分析功能，同时实现MySQL数据库与TXT文件双重数据存储，确保数据安全可靠。目标是建立一个操作简单、功能完整、运行稳定的学生信息管理平台，提高教务管理效率，为高校信息化建设提供技术支持。 2、软件功能、核心功能模块的介绍 本系统包含四大核心模块： (1) 学生信息管理模块：实现学生信息的完整生命周期管理，包括学号、姓名、年龄、性别、籍贯、年级、专业等7个核心字段的增删改查操作。支持字段合法性验证，如学号格式验证（8位数字）、年龄范围验证（1-99岁）、性别验证（男/女）等。 (2) 数据存储模块：采用MySQL数据库与TXT文件双存储机制，所有操作自动同步到两种存储介质。数据库负责高效查询和复杂统计，文件作为备份确保数据在数据库异常时可恢复。系统初始包含200条以上测试数据。 (3) 查询展示模块：支持三种查询方式：全部学生展示、按专业筛选、按年级筛选。查询结果实时显示在表格中，支持快速定位目标学生群体。 (4) 统计分析模块：提供多维度的数据统计功能，包括年龄分布统计（分段统计：18-20岁、21-23岁、24-26岁、27岁以上）、男女比例统计（显示人数和百分比）、籍贯分布统计（各地人数排名），帮助管理者掌握学生整体情况。 3、业务流程、功能路径描述 用户启动系统后，进入主界面三个标签页： 管理页面：用户可查看所有学生列表，选择表格中的学生自动填充表单，点击“添加”可录入新学生信息（系统自动验证字段合法性），点击“更新”可修改选中学生信息，点击“删除”需二次确认后删除记录。所有操作实时同步到数据库和文件。 查询页面：用户选择查询类型（全部/按专业/按年级），输入查询条件后点击“查询”，系统执行SQL查询并在表格中展示结果，同时弹出查询结果数量提示。 统计页面：用户点击“刷新统计”按钮，系统从数据库读取数据并计算年龄分布、性别比例、籍贯分布，以文本形式清晰展示统计结果，帮助管理者快速掌握学生构成。

软件功能、核心功能模块的介绍 本系统包含四大核心功能模块： （1）新闻数据采集模块：基于Requests和BeautifulSoup库实现网络爬虫，能够从微软新闻网站（news.microsoft.com）自动抓取最新新闻标题和正文内容。该模块具备多级容错机制，当网络异常或页面结构变化时，自动切换至备用数据源，确保系统稳定运行。 （2）中文分词与关键词提取模块：使用Jieba分词库对采集的新闻文本进行精确分词，结合自定义停用词库（包含200余个虚词和常见词），过滤掉无实际意义的词语。通过Counter工具进行词频统计，提取出现频率最高的关键词作为分析基础。 （3）词云可视化生成模块：基于WordCloud库将关键词数据转化为可视化词云图片。该模块实现了跨平台字体自动检测功能，优先使用黑体、微软雅黑等中文字体确保中文正常显示，并设计了PIL备用方案作为最终保障。 （4）Web应用与交互模块：采用Flask框架构建轻量级Web服务，提供RESTful API接口。前端采用响应式设计，支持PC端和移动端访问。用户点击生成按钮后，系统异步执行后台任务，通过状态轮询机制实时反馈处理进度，最终展示词云图片和关键词分析结果。 3、业务流程、功能路径描述 用户访问系统首页（http://127.0.0.1:5050），页面展示控制面板和词云展示区。用户点击“开始抓取新闻并生成词云”按钮后，系统触发后台异步任务：首先启动爬虫模块访问微软新闻网站，抓取15条最新新闻的标题和正文内容，合并生成约5000-10000字符的文本数据；随后调用分词模块对文本进行切词和停用词过滤，统计出前100个高频关键词；接着调用词云生成模块，根据词频数据生成800×600像素的词云图片并保存至static目录；最后更新处理状态为完成。前端通过每2.5秒轮询状态接口，实时显示“抓取中”、“分析中”、“生成中”等进度信息，任务完成后自动加载词云图片并展示关键词列表。整个流程约1-2分钟，用户无需等待即可获得可视化分析结果。

1. 立项背景和目标： 日常需要监控特定关键词的新闻动态，但手动搜索效率低。本工具实现自动抓取联合早报新闻，支持关键词搜索和首页热闻获取，帮助用户快速获取最新资讯。 2. 软件功能、核心功能模块： - 电脑版：输入关键词，自动抓取新闻，导出Excel文件，支持打包成exe独立运行 - 手机版：安卓APK，输入关键词获取新闻列表，点击标题直接跳转浏览器阅读原文 - 支持首页热闻获取（无需关键词） - 自动去重、实时进度显示 3. 业务流程、功能路径： 用户打开软件 → 输入关键词（或点击首页按钮）→ 程序抓取新闻 → 显示结果列表 → 电脑版导出Excel，手机版点击跳转原文

搭建在Web端上的，可以供广大股民用来进行公司股票数据分析和股票买卖策略生成的全能性网站。目前该网站在我们内部已经开发的非常成熟，完善，以下是它的主要功能介绍: 1.首先是最基本的用户登陆注册功能，注册成功进入首页之前由于我们这个软件是一个付费软件，所以会先进入一个套餐选择界面，首次注册使用网站会为您提供一个5天免费使用权限。 2.网站首页分为侧边栏，中间页面展示部分。侧边栏包含个股，新闻等一些工具，其中最主要的个股模块，该模块中会显示一个非常关键的图表，这个图表显示当前股市上自开盘以来的所有股票走势图表还有相关的指标展示。 3.还有一些工具栏例如：股票收益率分析，股票实时买卖操作，股票限时限买限卖操作，股票收益率回测这些工具栏，属于我们内部自己使用的工具，也是我自己负责的关键功能。

1、立项背景和目标 随着《征信业管理条例》和《征信机构管理办法》的出台，对信用服务机构有更高的行业要求，我司顺应行业发展趋势和提高企业管理水平的要求，建设征信管理系统，改变目前手工处理征信业务的模式。 实现征信业务线上流程化处理。从客户提交订单、订单指派、数据采集、报告生成和报告送达等业务实现线上流程化处理。 2、软件功能、核心模块介绍 本系统专注实现征信业务全流程线上化、标准化处理，替代传统线下人工对接模式，构建一站式企业征信业务线上平台。核心功能围绕业务全链路设计，包含五大核心模块： 客户订单提交模块：支持客户在线填写业务信息、上传相关材料，自动校验表单完整性，实现线上一键下单； 订单智能指派模块：根据业务类型、地域、处理优先级自动分配至对应经办人员，支持手动调整指派对象，提升订单流转效率； 数据采集模块：对接合规数据源，完成企业征信相关数据的自动采集、核验与整理，保障数据真实有效，减少人工录入误差； 征信报告生成模块：基于采集的标准化数据，自动生成规范格式的企业征信报告，支持报告预览、修改与定稿，确保报告合规统一； 报告送达模块：支持线上加密推送、短信通知、平台内签收等多种送达方式，实现报告全程可追溯，保障业务闭环。 3、业务流程、功能路径描述 客户提交订单、订单指派、数据采集加工整理、报告生成和报告送达