大数据 网站 软件定制 案例

1.依托已有的数据中台，对航班运营数据（航班、客票、成本、补贴等），进行汇总、清洗后，提供AI问数的功能； 2.支持各部门各层级业务人员通过自然语言，查询其权限范围内的数据，并形成表格及数据统计图； 3.一期完成了多轮问数、报表自定义、推荐问题、编辑个人指标、问答评分等功能。

为响应智慧城市建设、房地产行业数字化转型需求，解决传统房产交易信息不透明、流程繁琐、供需匹配低效、监管难度大等痛点，特立项打造城市房产平台。平台核心目标是构建“数据一体化、业务一体化”的智慧房产服务体系，整合城市房产全链条资源，实现房源真实可溯、交易高效便捷、监管精准有力，为市民、房产从业者、监管部门提供全方位服务，推动城市房地产市场规范健康高质量发展，助力数字住房建设落地。除核心房产平台业务外，公司另一大块核心业务为数据服务，重点面向银行、政府等机构提供专业数据评估服务，为银行房贷审批、风险管控提供房产价值、产权资质等精准数据评估支撑，为政府房地产市场调控、政策制定提供权威数据参考。平台整体涵盖基础服务、核心交易、监管辅助、增值服务四大类软件功能，核心模块包括房源管理、交易服务、智能匹配与搜索、监管与数据分析、增值服务：房源管理模块实现房源全生命周期管理，通过OCR识别、人脸识别等技术核验房源真实性，生成“一房一码”，杜绝虚假房源；交易服务模块贯通新房、二手房、租赁全场景，提供在线预约看房、电子合同签署、交易资金托管等服务，保障交易安全高效；智能匹配与搜索模块支持多维度筛选和个性化推荐，结合地图功能直观展示房源及周边配套；监管与数据分析模块为监管部门提供实时监控、违规核查功能，为运营者提供数据支撑，同时也为公司数据服务业务积累核心数据资源；增值服务模块整合金融、法律、家装等服务，实现“一站式”闭环。平台业务流程围绕“房源录入—核验—展示—匹配—交易—监管”全链路形成闭环，房源供给端录入信息并完成核验后上架，用户通过平台找房、预约看房，达成意向后签署合同、办理资金托管，交易完成后更新房源状态并提供后续增值服务，全程支持用户举报反馈，保障业务规范。核心功能路径清晰，涵盖房源管理、用户找房交易、监管数据分析、增值服务四大路径，各环节衔接顺畅，全面满足不同用户群体的核心需求，同时与公司数据服务业务形成协同，推动房产服务与数据服务双赛道数字化、智能化升级。

1. 利用 request 请求获取政府部门多个栏目信息 2. 通过 xpath、bs4 等模块解析 html 数据 3. 通过 mysql 存储过程存储数据 4. 利用 DrissionPage、Playwright 等自动化工具 抓取数据 5. 通过数据接口抓取并存储企某查网站数据 6. 将获取的数据进行数据清洗 7. 同时负责一些数据后台网页端的功能测试项目

项目前端实施 实现城市治理一张图可视，成功交付核心模块，接入GIS地图服务，为城市治理提供可视化决策支持，构建了城市总览、精细化治理、联动指挥、生态环保，智慧党建等多个模块的数字孪生可视化展示模块，为城市整理和指挥调度提供数据支撑和技术支持。

软件功能、核心功能模块介绍： 1. 数据概览模块：展示核心业务指标，包括总营收、订单量、用户数、转化率等关键KPI，支持实时数据更新和趋势对比。 2. 趋势分析模块：提供多维度数据趋势图表，支持日周月年等不同时间维度的数据对比分析，帮助识别业务规律。 3. 实时数据监控：展示实时交易数据、用户活跃度、系统运行状态等动态数据，确保业务健康运行。 4. 区域分布分析：通过地图热力图展示业务区域分布情况，支持钻取到省市区级别，辅助市场决策。 5. 告警中心：实时展示系统异常和业务告警信息，支持告警等级分类和快速响应。

一、立项背景与目标 1.1 立项背景 随着平台业务规模的快速扩张，传统的离线数据分析模式已无法满足业务对数据时效性的迫切需求。业务运营团队需要分钟级甚至秒级的实时数据反馈来支撑决策，而现有的T+1离线分析模式存在明显的数据滞后性，导致运营策略调整滞后、用户体验优化不及时、市场机会错失等问题。 在此背景下，亟需构建一套批流一体（Batch-Stream Unification）的实时数仓平台，通过统一的技术栈和计算引擎，实现实时数据与离线数据的融合处理，为客户提供全链路、全时效的数据分析服务。 1.2 项目目标 核心目标： 实时性：实现秒级延迟的实时数据处理，支撑实时用户访问数、实时下单数等关键业务指标的即时呈现 一致性：通过统一的数据源和计算逻辑，消除实时与离线数据的口径差异，确保数据分析结果的一致性 业务目标： 为运营团队提供实时业务监控能力，实现数据驱动的即时决策 为产品团队提供用户行为分析能力，支持产品功能优化与用户体验提升 二、软件功能概述 欧冶分析中心实时数仓是一套企业级批流一体大数据分析平台，采用业界主流的Lambda架构演进方案，结合Flink的流批一体能力，为客户提供从数据采集、处理、存储到服务的全栈式数据分析解决方案。 实时业务流程 实时业务流程 流程一：实时用户行为分析流程 用户访问平台 → 前端埋点采集 → 日志异步上报 → 服务器日志文件 → Kafka消息队列 → Flink实时写入 → MySQL查询 → 前端数据展示 (数据缓冲) (聚合计算) (结果存储) (Dashboard)

软件功能、核心功能模块的介绍 本系统包含四大核心功能模块： （1）新闻数据采集模块：基于Requests和BeautifulSoup库实现网络爬虫，能够从微软新闻网站（news.microsoft.com）自动抓取最新新闻标题和正文内容。该模块具备多级容错机制，当网络异常或页面结构变化时，自动切换至备用数据源，确保系统稳定运行。 （2）中文分词与关键词提取模块：使用Jieba分词库对采集的新闻文本进行精确分词，结合自定义停用词库（包含200余个虚词和常见词），过滤掉无实际意义的词语。通过Counter工具进行词频统计，提取出现频率最高的关键词作为分析基础。 （3）词云可视化生成模块：基于WordCloud库将关键词数据转化为可视化词云图片。该模块实现了跨平台字体自动检测功能，优先使用黑体、微软雅黑等中文字体确保中文正常显示，并设计了PIL备用方案作为最终保障。 （4）Web应用与交互模块：采用Flask框架构建轻量级Web服务，提供RESTful API接口。前端采用响应式设计，支持PC端和移动端访问。用户点击生成按钮后，系统异步执行后台任务，通过状态轮询机制实时反馈处理进度，最终展示词云图片和关键词分析结果。 3、业务流程、功能路径描述 用户访问系统首页（http://127.0.0.1:5050），页面展示控制面板和词云展示区。用户点击“开始抓取新闻并生成词云”按钮后，系统触发后台异步任务：首先启动爬虫模块访问微软新闻网站，抓取15条最新新闻的标题和正文内容，合并生成约5000-10000字符的文本数据；随后调用分词模块对文本进行切词和停用词过滤，统计出前100个高频关键词；接着调用词云生成模块，根据词频数据生成800×600像素的词云图片并保存至static目录；最后更新处理状态为完成。前端通过每2.5秒轮询状态接口，实时显示“抓取中”、“分析中”、“生成中”等进度信息，任务完成后自动加载词云图片并展示关键词列表。整个流程约1-2分钟，用户无需等待即可获得可视化分析结果。

搭建在Web端上的，可以供广大股民用来进行公司股票数据分析和股票买卖策略生成的全能性网站。目前该网站在我们内部已经开发的非常成熟，完善，以下是它的主要功能介绍: 1.首先是最基本的用户登陆注册功能，注册成功进入首页之前由于我们这个软件是一个付费软件，所以会先进入一个套餐选择界面，首次注册使用网站会为您提供一个5天免费使用权限。 2.网站首页分为侧边栏，中间页面展示部分。侧边栏包含个股，新闻等一些工具，其中最主要的个股模块，该模块中会显示一个非常关键的图表，这个图表显示当前股市上自开盘以来的所有股票走势图表还有相关的指标展示。 3.还有一些工具栏例如：股票收益率分析，股票实时买卖操作，股票限时限买限卖操作，股票收益率回测这些工具栏，属于我们内部自己使用的工具，也是我自己负责的关键功能。

1、立项背景和目标 随着《征信业管理条例》和《征信机构管理办法》的出台，对信用服务机构有更高的行业要求，我司顺应行业发展趋势和提高企业管理水平的要求，建设征信管理系统，改变目前手工处理征信业务的模式。 实现征信业务线上流程化处理。从客户提交订单、订单指派、数据采集、报告生成和报告送达等业务实现线上流程化处理。 2、软件功能、核心模块介绍 本系统专注实现征信业务全流程线上化、标准化处理，替代传统线下人工对接模式，构建一站式企业征信业务线上平台。核心功能围绕业务全链路设计，包含五大核心模块： 客户订单提交模块：支持客户在线填写业务信息、上传相关材料，自动校验表单完整性，实现线上一键下单； 订单智能指派模块：根据业务类型、地域、处理优先级自动分配至对应经办人员，支持手动调整指派对象，提升订单流转效率； 数据采集模块：对接合规数据源，完成企业征信相关数据的自动采集、核验与整理，保障数据真实有效，减少人工录入误差； 征信报告生成模块：基于采集的标准化数据，自动生成规范格式的企业征信报告，支持报告预览、修改与定稿，确保报告合规统一； 报告送达模块：支持线上加密推送、短信通知、平台内签收等多种送达方式，实现报告全程可追溯，保障业务闭环。 3、业务流程、功能路径描述 客户提交订单、订单指派、数据采集加工整理、报告生成和报告送达

1、业务场景：随着数字经济的深度渗透，数据可视化大屏已成为企业、政务机构实现数据集中展示、实时监控、高效决策的核心载体，广泛应用于政务监管、智能制造、金融风控、零售运营、智慧城市、工业监控等多个领域。当前，各行业面临数据量大、类型复杂、数据分散、难以快速挖掘数据价值等问题，传统的数据报表形式无法直观呈现数据关联和变化趋势，无法满足决策者快速掌握全局数据的需求。 我们聚焦各行业数据可视化需求，为企业和机构提供定制化数据可视化大屏开发服务，帮助用户将分散的业务数据、运营数据、监控数据等进行整合，通过直观、炫酷的可视化形式呈现，实现数据实时更新、动态交互、异常预警，助力决策者快速洞察数据价值、提升决策效率，同时可作为企业展厅、监控中心、指挥中心的核心展示工具，提升品牌科技感。 2、功能介绍：数据可视化大屏核心功能围绕“数据整合+可视化展示+交互管控”展开，核心功能包括数据源管理模块，支持多类型数据源接入，包括数据库、API接口、Excel文件、物联网设备数据等，可自定义数据更新频率（实时更新、定时更新），确保大屏数据的准确性和实时性；可视化展示模块，内置海量标准化组件（折线图、柱状图、饼图、地图、指标卡等），支持组件样式（颜色、动画、布局）精细化配置，可根据行业需求自定义大屏布局，直观呈现核心数据指标、数据趋势、数据关联关系；权限管控模块，提供多级权限管理（查看权限、编辑权限、分享权限），可针对不同角色配置差异化的大屏访问范围，保障数据安全；异常预警模块，可设置数据阈值，当数据超出阈值时，自动触发告警提示（颜色变化），便于及时发现问题、处理问题；此外，支持大屏模板保存、自定义修改，满足不同场景的展示需求。

【项目背景】 某电商公司需要实时监控竞品价格变化，原本人工收集需要4小时/天，效率低且容易出错。客户需要一套自动化系统来替代人工。 【核心功能】 1. 多平台数据采集：支持淘宝、京东、拼多多等5个电商平台，1000+商品同时监控 2. 定时自动抓取：每日早中晚3次自动更新，支持自定义采集频率 3. 价格预警通知：当竞品价格波动超过设定阈值（如5%），自动发送微信/邮件提醒 4. 数据导出报表：支持Excel/PDF格式导出，包含价格趋势图表、对比分析 5. 可视化数据看板：实时展示价格分布、波动排行、历史趋势等核心指标 【业务流程】 需求分析→爬虫开发→数据清洗→入库存储→前端展示→预警通知→报表导出 【项目成果】 系统上线后，数据采集时间从4小时缩短至10分钟，效率提升96%，年节省人力成本15万元，数据准确率达99.5%以上。

湖南移动大数据项目IOP系统主要应对中国移动总部对湖南移动本部数据进行实施监控，以及数据实施下发应用。主要开发webservice接口以及hadoop文件接口维护，linux部署项目，tomcat集群日常维护，处理DB2数据库获取到oracle数据库的数据监测。达到湖南移动-中间方-总部移动公司的数据互通联调。

项目由公司自研的海外DTC项目，目前主要用于shopify平台，配合相关电商商品进行相关商品的宣传和引流作用，用户可以使用相关的配置进行商品内容的宣传，同时可以选择模板配置相关电商商品，以及会给商户出具A/Btest服务以及相关的数据分析展示；

1、立项背景和目标： 随着电商竞争白热化，品牌方与零售商需实时掌握自身及竞品在各平台（如亚马逊、淘宝、京东国际站）的价格、库存、促销及用户评价动态，用于制定定价策略、监控渠道合规及进行市场分析。传统人工监控效率低下、覆盖面窄。本项目旨在构建一个自动化、高可用的分布式爬虫系统，实现对全球多个主流电商平台目标商品信息的7x24小时稳定采集、清洗、存储与可视化，为核心业务部门提供分钟级延迟的数据支持，辅助商业决策。 2、软件功能、核心功能模块的介绍： 调度中心模块：基于Redis，负责任务的优先级调度、去重与分发，管理爬虫节点状态。 爬虫核心模块：基于Scrapy框架，针对不同网站编写定制化Spider，负责页面下载、解析，处理反爬机制（IP代理、请求头轮换、验证码识别接口调用）。 数据管道模块：负责数据清洗（去重、格式化）、验证，并持久化存储至MongoDB，同时将异常数据与原始页面快照存储至备用库以供排查。 监控报警模块：监控爬虫运行指标（成功率、速度、错误类型），通过企业微信机器人推送异常报警。 管理后台模块：提供Web界面，用于管理监控任务、配置爬取规则、查看数据报表和导出数据。 3、业务流程、功能路径描述： 任务配置：运营人员在管理后台添加/编辑监控商品，输入商品URL或ID，并设置爬取频率（每30分钟）。 任务调度：调度中心将新任务封装为Request，推入Redis的待爬队列。爬虫节点（多台服务器）从队列中竞争获取任务。 页面抓取：爬虫节点根据任务类型选择对应的Spider，通过代理IP池发起请求，下载目标页面。若失败，根据策略重试或放入重试队列。 数据解析与清洗：下载成功的页面被Spider中编写的XPath/CSS规则解析，提取商品标题、价格、促销信息、评价数等结构化数据。数据管道对价格进行货币单位统一、去除无效字符。 数据存储与通知：清洗后的数据存入MongoDB的product_price集合，并生成一条变更记录。若价格波动超过预设阈值，系统触发企业微信通知。 监控反馈：所有抓取日志和状态指标实时汇总，展示在监控仪表盘上。

新媒体运营者每天需要从大量 RSS 信息源中筛选热点、提炼要点、撰写各平台差异化文案，再手动粘贴到微信公众号、微博、头条号等编辑器——全流程耗时长、重复劳动多，且各平台对排版格式要求不同，人工适配成本极高。 本项目（mp-agent）的目标是构建一条"信息聚合 → AI 生成 → 多平台分发"的全自动内容流水线：定时从订阅的 RSS 源抓取文章，由大语言模型自动摘要和合写每日资讯，并按平台规范格式化后一键发布或提供带主题排版的富文本复制，将单期内容生产时间从数小时压缩至分钟级，支持零人工干预的定时全自动运行，也支持人工介入的半自动审核模式。

本平台面向工业互联网与大数据场景，为企业车队提供全流程车辆智能管控服务，核心解决车辆实时监管、安全风险预警、运营效率低下等痛点，实现从 “被动追溯” 到 “主动防控” 的管理升级。 核心功能路径：实时监控大屏→实时报文→轨迹追溯→数据报表分析等。具体包含：1. 实时定位，地图可视化展示车辆位置、车速、车况；2. 实时报文查询，历史报文查询，车辆状态展示，设备预警等；3. 行驶轨迹回放，支持事件溯源；4. 多维度运营报表，为车队调度、成本管控提供数据支。

在人工智能领域飞速发展的背景下，抖音集团正积极投入建设具备世界领先水平的内部多模态大模型。该模型旨在深度理解和生成结合文本、图像、视频、音频等多种模态的数据，以此赋能集团旗下多样化的产品与业务场景（如内容推荐、智能创作、用户交互、内容审核等）。 为了确保这些强大的多模态大模型不仅具备卓越的性能，更能精准对齐人类偏好（Human Alignment）、提升其安全性、有用性、一致性与个性化表现，我们引入了 **Direct Preference Optimization (DPO)作为关键的后训练（Post-training）** 策略。DPO 通过利用人类偏好反馈数据直接优化模型，相比传统的 RLHF（基于强化学习的人类反馈）流程更高效、稳定。 本项目的核心目标正是 ——构建一个高效、稳定、可扩展的端到端数据链路，为 DPO 训练提供高质量、高通量的结构化数据。这一数据链路的搭建，是确保我们的多模态大模型能够持续迭代、不断优化、最终在复杂现实场景中表现卓越的基石。它不仅将加速模型迭代周期，更是我们在下一代 AI 技术竞争中保持领先的关键一步。 本项目的核心在于设计与实现一个自动化、智能化的DPO 训练数据生产平台。其核心功能可概括为三个紧密相连的阶段： 大规模、周期性数据采集与整合： 平台将具备强大的数据集成能力，能够定期、自动化地从集团内部多样化的原始数据源（如用户交互日志、内容创作数据、搜索查询、运营反馈、模型推理日志等）以及特定外部数据集获取海量多模态数据。确保数据的新鲜度、全面性和多样性，为后续的精细化标注提供充足的 “原材料”。 高度定制化与智能化的复杂标注工作流： 平台将支持一个多阶段、多模态融合、且深度定制化的标注链路。此环节并非简单的标签分类，而是专注于DPO 训练所需的偏好型数据构建。它将引导专业标注员或通过 AI 辅助标注，根据预设的严苛评估标准（如安全性、事实准确性、逻辑连贯性、指令遵循度、创意性、语气风格等），对模型在特定 Prompt 下的多个响应进行优劣排序、对比选择，乃至识别并生成对抗性样本。此流程将针对多模态内容的特点，支持文本 - 图像、文本 - 视频等多维度关联信息的标注与评估。 标准化、可追溯的 DPO 训练数据输出（Pair 对数据）： 最终，数据链路将把经过复杂标注处理后的信息，精确地格式化为 DPO 训练框架可直接消费的 “Pair 对数据”。这意味着，对于给定的一个 Prompt 或上下文，我们将输出至少包含一个 **“偏好响应（Preferred Response）”和一个“拒绝响应（Rejected Response）”** 的结构化数据对。这些数据将包含必要的元信息（如评估维度分数、置信度、标注员 ID、时间戳等），确保数据质量高、可追溯，并可直接无缝地灌入集团的 DPO 训练系统，为模型的持续优化提供高质

为优化机场地勤资源配置，需要基于动态的维修需求与多变的航班计划，设计并实现一套智能机位自动排程算法。该算法需综合考虑机位特性、航班类型与保障时间窗，通过高效建模与求解策略，在满足各类约束的前提下最大化机位利用效率，减少航班延误与资源闲置，从而显著提升机场整体运行效能。

1.立项背景和目标:主流BI工具都缺少Excel的操作和手感,希望产品能弥补这块空白 2.软件功能: 1)前端支持大数据量的更新,因为是懒加载,每次只加载100行,且会把内存里边旧的信息清理,因此,可以实现Excel支持100万+级的数据,在B/S上显示 2)类Excel的手感,可以支持列冻结,筛选,复制粘贴,创建新的Sheet,使用100多个公式 3)存储采用Parquet/Lance文件格式,Excel支持读取Parquet文件,保存Lance文件,可以支持在线Excel的时光机能力 4)与DataFusion,Arrow的数据引擎关联,理论上可以对接主流数据源,目前仅支持Oracle,SQLite,CSV/EXECL的数据关联,并生成Excel表格

随着Web应用迭代速度加快，手动回归测试效率低且易遗漏问题。为保障百度等网页功能稳定性，立项开发Selenium自动化测试工具，目标是将回归测试效率提升60%，并实现核心功能的每日自动验证。 软件功能、核心功能模块：核心功能包括网页自动访问、元素定位与交互、结果断言验证、测试报告自动生成。主要模块分为：驱动管理模块（自动匹配浏览器版本）、用例执行模块（支持多线程运行）、结果校验模块（验证页面标题、状态码等）。 业务流程、功能路径描述：用户配置目标网页URL与测试用例 → 系统初始化浏览器驱动 → 自动执行访问、交互等测试步骤 → 实时校验页面响应与元素正确性 → 生成包含用例通过率、响应时间的测试报告 → 自动关闭浏览器并释放资源。