大数据 网站 软件定制 案例

本案例为个人演示项目，面向中小企业更换CRM或整合多来源客户资料时的数据整理需求。用户可导入Excel或CSV文件，配置字段映射规则，完成手机号、邮箱和公司名称标准化，并按组合条件识别重复记录；系统随后展示异常数据、冲突字段和处理建议，用户确认后可导出目标CRM可直接导入的数据文件及清洗报告。整个流程覆盖导入、预览、映射、去重、校验、修复和导出，重点降低人工反复核对带来的遗漏与时间成本。

本项目为产业数据直报系统： 1、管理端（省/市/县区三级监管）和填报端（企业、非经营单位）提供端到端的数字化数据采集、审核、统计与导出能力。 2、系统按报告期（年/季/月）驱动 10 张业务表单的填报，涵盖企业基础档案、种植、生产加工、销售、文旅、税收贸易，以及景气调查问卷（含数字选项码与多选字段）。 3、审核采用三级联审机制，支持企业撤回修改、各角色取回、县区退回需第三方评估等精细化规则。 4、管理端提供按地区维度的仪表盘统计（应填/已填/待审/退回率、部分填报识别）、填报进度追踪（按企业/表单维度）和 Excel 导出（问卷选项码转中文、密码加密、填报端仅导出本单位），形成采集-审核-分析闭环。

立项背景：园区管理方需要实时掌握人流量、车流量、能耗和设备运行状态，但数据分散在各系统与 Excel 中，无法统一查看。目标是建设一屏统览的运营监控大屏，辅助值班人员快速发现异常。 核心功能模块：实时人车流量监测、水电气能耗趋势分析、设备在线率与告警、安防监控联动、大屏轮播与数据钻取。 业务流程：物联网设备或第三方系统上报数据 → 数据服务清洗聚合 → WebSocket 实时推送至大屏 → 运营人员点击钻取查看明细 → 触发异常告警并派单处理。

公司的IA估值系统实现了组合的盘中实时估值，行情大数据平台提供了秒级行情。将这两部 分数据接入进来，将组合分析从T-1提速至盘中实时，这样投资经理的投资操作、市场行情 变化就可以实时体现在当前的组合分析结果中。 接入实时行情，基于T-1日持仓，进行盘中实时分析；以持仓分析功能业务为突破口，引入实时行情，进行快速落地。

立项背景和目标：为方便对公开电影短评数据做统计分析，开发本网页数据采集脚本，目标是获取豆瓣电影公开的用户短评内容，把评论、评分、评论时间等公开信息批量导出，用于数据分析练习，仅采集网页公开可见数据，不触碰用户隐私。软件功能、核心功能模块：基于 Python 开发，使用 requests 发送网络请求，BeautifulSoup4 解析网页 HTML 源码；实现分页遍历、网页解析、数据清洗模块；提取电影短评的用户名、星级评分、评论正文、发布时间；过滤无效空白内容，将采集完成的数据保存为 txt 格式文件。业务流程、功能路径：输入目标电影短评页面地址，脚本携带请求头访问网页，循环访问多页短评；解析页面提取目标字段，清洗整理数据；完成多页采集后，把全部结果写入本地 txt 文件，完成数据落地存储。

datart是宜信开源BI达芬奇的2.0版本，打破常见BI的封闭，支持可插拔的数据源接入，建立标准的数据可视化开放平台。公司二开版本基于开源datart版本增加了多租户权限管理，优化图表、数据展示效率，增加数据清洗处理模块。其Visualization模块除了支持常见的报表外，支持权限可控的标准化交互能力，如筛选、钻取、联动、跳转、弹窗、分享、下载、发送等；很容易被整合、被内嵌至其他三方系统，承担数据可视化部分功能；支持接入Apache DolphinScheduler‌+Seatunnel实现数据的清洗整理工作。

智联招聘需要有简历数据呈现，以及相关关键词处理。主要为两个功能服务，1是提供一些搜索支持，将职位相关数据分词后存储在Es集群里。 2是为c端客户或者B端客户展示简历和职位，承托10万级QPS服务，对简历和职位数据进行预处理。

一、立项背景和目标 北京新发地农产品批发市场作为全国交易规模最大的农产品专业批发市场，其官网每日发布大量蔬菜、水果等农产品的价格行情数据，涵盖品名、规格、产地、价格区间、发布日期等关键信息。这些价格行情数据分散在多个列表页面中，人工逐条复制品名、最低价、平均价、最高价、规格、产地、单位、发布日期等信息录入 Excel 表格工作量大、效率低下，且分页翻阅统计困难。本项目立项目标：基于 Playwright 自动化浏览器抓取北京新发地农产品批发市场官网多页价格行情数据，自动解析字段并写入 Excel 文件，实现农产品价格数据批量结构化导出，方便后续价格趋势分析、产地分布统计与市场行情归档，同时掌握动态网页分页爬取、XPath 层级定位、openpyxl 表格持久化存储的完整爬虫开发流程。 二、软件功能、核心功能模块介绍 三大核心功能模块 （1）Excel 表格初始化模块：使用 openpyxl 库新建工作簿，创建名为“新发地价格行情”工作表，预先写入表头【一级分类、二级分类、品名、最低价、平均价、最高价、规格、产地、单位、发布日期】，智能设置各列宽度确保数据完整显示，定义全局列表用于临时存储抓取到的结构化数据，为后续数据落地做准备。 （2）浏览器自动化页面交互模块：调用 Playwright 启动本地 Chromium 浏览器，配置可视化运行窗口、操作减速防反爬；自动访问北京新发地农产品批发市场官网价格行情栏目，支持按分类筛选（蔬菜、水果等），自动识别总页数并循环执行分页加载逻辑，每页设置合理等待时间，保证后端动态渲染的价格列表完整加载。 （3）数据解析与表格写入模块：通过层级 XPath 定位每一条价格行情数据 DOM 容器，循环提取一级分类、二级分类、品名、最低价、平均价、最高价、规格、产地、单位、发布日期；增加智能字段清洗逻辑，过滤异常数据和空值，逐条将字段追加写入 Excel 工作表，提供数据去重机制避免重复记录，最终完整保存为本地表格文件。 三、业务流程、功能路径描述 （1）程序初始化：创建 Excel 文件、新建工作表并设置表头及列宽；配置本地 Chromium 浏览器启动路径与反爬兼容参数；提示用户选择需要爬取的农产品分类（默认全部分类）； （2）自动化访问目标网站：打开北京新发地农产品批发市场官网价格行情页面，等待页面完全加载后，通过 XPath 定位分类筛选下拉菜单，根据用户选择模拟点击切换分类，等待列表数据刷新； （3）分页循环抓取：自动解析总页数，循环执行分页爬取，每一页等待 3-5 秒确保列表数据 JS 渲染完成；定位所有价格行情条目父级容器，获取当前页条目数量； （4）逐条解析字段：遍历每条条目 DOM 节点，分别提取一级分类、二级分类、品名、最低价、平均价、最高价、规格、产地、单位、发布日期，清洗字符串去除空白字符和无

活动类型、活动环节自定义配置，一套系统支撑多种活动形态 活动发布与报名限制（人数、范围、时间段） 报名人员按规则自动排号、自动排座，现场扫码签到 活动看板实时展示进度，数据大屏用于汇报展示

本项目为在线教学资源库系统，核心功能模块包括：资源分类管理模块（支持课件、视频、文档、试题等多类型资源上传、审核、标签化管理与版本控制）、资源检索与推荐模块（提供多维度检索、智能推荐与资源预览功能）、师生共享与互动模块（支持资源授权访问、在线评论、收藏下载与教学任务关联）、统计分析模块（实现资源访问量、使用率、教学效果数据的可视化统计）、系统管理模块（含用户权限管理、资源审核流程、日志审计与系统配置），同时支持多终端访问，可无缝对接院校教学平台，为教学活动提供一站式资源支撑服务。

惠商通官网是一个面向企业客户的官网展示项目，主要用于统一展示公司品牌形象、核心产品、行业解决方案和企业服务能力。网站涵盖首页、产品介绍、解决方案、企业合规、关于我们等模块，帮助用户快速了解平台能力、适用行业及业务价值，同时提升企业线上曝光和客户咨询转化效率。

1、立项背景和目标 传统企业在用户运营过程中面临数据分散、分析效率低、用户画像不清晰等问题。运营人员经常需要在多个系统间切换查看数据，无法快速获取用户行为全貌。为了解决这一痛点，我决定开发一套用户行为数据分析看板系统，目标是实现用户数据一站式查询、用户画像自动生成以及核心行为指标的可视化展示，将数据分析时间从小时级缩短至分钟级。 2、软件功能、核心功能模块的介绍 系统包含三大核心模块： 用户画像分析模块：基于用户行为数据自动生成画像标签，包括用户活跃时段（是否为夜猫子）、价值等级（高价值/低价值）、转化潜力（高转化率/低转化率）等多维度标签，帮助运营团队快速定位目标用户群体。 全局趋势分析模块：对用户四大核心行为（浏览、加购、购买、收藏）进行24小时内的时间分布统计，同时提供最畅销产品排行榜，让决策者一目了然地掌握整体运营态势。 精准查询模块：支持通过用户ID或产品ID进行精确检索，系统自动返回该用户/产品的完整画像数据和关联行为记录，满足精细化运营场景下的快速查询需求。 3、业务流程、功能路径描述 用户进入系统后，可直接在首页看到全局趋势概览，包括24小时行为分布柱状图、畅销产品排名等。如需深入了解特定用户，可在查询框输入用户ID，系统调用后端API查询数据库，返回该用户的画像标签和行为明细，并生成可视化图表。产品分析同理。整个流程从输入到结果展示控制在3秒以内。

该项目是一个基于大数据引擎作为底层能力支撑，上层应用使用java做业务功能的开发的平台，核心功能，贴源数据集 接入，数据建模，数据集创建，模型填充，数据查询，数据资产管理等相关核心功能,结合其他的运维平台将数据发挥作用与集中管理。

该项目主要是用来分析复合材料实验数据的。用户可以在系统里查看温度、应力、应变等实验数据，还能看到数据表、趋势图、状态分布和温区分布。系统也支持数据处理、异常点查看、算法分析、图表生成和报告预览，方便把实验数据整理得更清楚。

数字经济持续深化，全域多渠道经营已成电商商家主流模式，淘宝、京东、拼多多、抖音、快手等平台独立搭建数据体系，各后台指标口径、字段格式、结算规则互不统一，形成大量数据孤岛。商家需跨多后台导出报表人工汇总，运营、财务对账成本高、数据滞后且误差频发，无法直观掌握全渠道营收、库存、投放 ROI 整体情况，品牌难以开展全域用户分析与竞品对标决策。伴随数据要素市场化政策落地，企业数字化经营需求持续攀升，跨平台数据打通、统一清洗、可视化分析的刚需快速释放，叠加 API 接口、大数据处理技术成熟，可一站式整合全渠道经营、竞品、流量数据的电商数据聚合平台迎来广阔发展空间，成为品牌实现全域数字化管理、精细化运营的核心基础设施

网络安全项目，采集片区网络数据，分析高中低危网络数据，数据研判、可视化呈现。 采集数据量每天1-3亿数据，实时入库，数据清洗、数据归并、数据分发研判、研判结果及红头文件下发、资产管理、可视化大屏实时呈现、威胁情报管理

这是一个自动化的情报抓取与数据精炼节点。系统从无结构化或半结构化的网页/文本中，提取出高价值的商业、安全或金融情报，并标准化输出以赚取“利润”（系统内的虚拟概念） 主要功能模块： 全局智能发现 (Global Web Crawl)：用户输入关键词，系统通过 DuckDuckGo 隐蔽抓取相关 URL。 多级过滤与精炼管道 (Refinery Pipeline)： 阶段 1：Crawl4AI & 本地 AI 萃取。使用本地部署的 Ollama (deepseek-r1:7b) 对网页进行初步清洗，提取含有高价值情报的原话（如金融交易、安全漏洞等）。如果判定为低价值，则直接丢弃，节省成本。 阶段 2：云端 AI 精炼 (DeepSeek/OpenAI)。使用云端大模型对过滤后的内容进行高级处理：清除无关的个人隐私(PII)、统一金融货币单位为美元，并提取出高级别的“概念标签”(Smart Keywords)、“关键洞察”(Key Insights) 和“建议行动”(Recommended Actions)，最后严格格式化为 JSON。 API 密钥池管理 (Cloud Keys Pool)：系统可添加多个 DeepSeek/OpenAI API Key，系统会自动验证 Key 的有效性和获取余额，并在运行时自动轮询活跃的 Key。Key 在内存中是加密存储的。 实时看板与硬件监控 (Dashboard)：前端实时展示系统的 CPU、RAM、独显 (GPU) 负载、网卡通道状态，以及总请求数、精炼成功量、总利润等经营数据。 全局风控 (Circuit Breaker)：提供一键“紧急熔断”开关，切断所有新任务的接收，用于风控防御。 自动化报告：精炼成功后，自动在桌面生成 M2M_AI_Report_YYYYMMDD.docx 报告。

一、项目背景 面向市大数据局、公安、市监局等政务部门开展项目，各部门已完成数据治理工作，但数据加工需开发人员手写代码实现，存在需求响应慢、业务人员无法自主操作、数据处理效率低等痛点，亟需搭建低门槛数据处理平台。 二、项目目标 1. 采集政务数据元数据信息，实现库表、字段及业务含义统一管理 2. 搭建拖拽式可视化建模平台，通过算子实现数据自助加工，降低使用门槛 3. 新增定时任务调度功能，实现建模任务自动化执行 4. 对接BI报表模块，实现加工数据可视化展示 5. 提升数据处理与需求交付效率，支撑政务业务自助数据分析 三、项目概述 搭建政务低代码可视化数据建模平台，自动采集治理后数据的元数据信息，提供过滤、排重、聚合、拆分等拖拽式算子，实现业务人员自主数据加工。支持建模任务定时调度、结果数据异构系统同步与级联分析，同时打通BI报表模块，可自主生成柱状图、折线图、甘特图等图表，完成数据加工到可视化全流程自助化。

一、项目背景 工厂内机床、设备通过PLC采集温湿度、压力、电量、加工计数等实时物联网数据，经Modbus 等协议接入Kafka。原始数据存在大量重复、异常、乱序、跳变问题，无法直接用于MES系统与生产大屏；设备运行状态（绿/黄/红/灰）无统一规则，加工计数易重复统计，亟需一套从0到1的实时数据清洗与治理体系。 二、项目目标 1. 建立设备状态标准化规则，自动识别正常、告警、故障、停机状态并统计各状态持续时长； 2. 构建生产加工计数清洗规则，过滤重复上报数据，处理人工重置等异常场景，保证计数准确； 3. 输出标准结构化数据，支撑MES系统、生产可视化大屏分钟/小时/日报表展示。 三、项目概述 该项目为工业物联网数据治理从0到1建设，采用Flink +Doris 技术架构。从Kafka消费设备实时采集数据，通过自定义清洗规工重置场景处理。清洗后数据写入聚合表，为下游MES系统、可视化大屏提供分钟级至日报级的标准化数据，支撑生产监控、趋势分析与产能统计。 项目职责： 1. 独立负责工业物联网数据治理项目从0到1设计与落地，参与整体架构方案讨论，最终确定并实现Flink +Doris 实时数仓架构； 2. 全程负责从Kafka消费设备实时数据，完成数据清洗、去重、异常过滤、乱序处理、状态计算、指标聚合等全流程开发； 3. 设计并实现设备运行状态（正常/告警/故障/停机）规则引擎，自动统计各状态持续时长并结构化落表； 4. 开发生产加工计数精准清洗逻辑，处理重复上报、人工重置等复杂业务场景，确保计数准确； 5. 构建标准聚合层数据模型，对外提供数据接口，支撑下游MES系统、生产可视化大屏实时展示与报表统计； 6. 负责需求变更、接口迭代及历史数据重刷、补算等运维工作，保障数据一致性。 7、使用AI工具(WorkBuddy后者TRAE CN)辅助提高开发效率 技术栈：Kafka+Flink+Doris+SpringBoot+Redis+Minio+Python

SIS系统作为面向生产过程的信息系统，实现单元机组DCS、ECS、化水、输煤、除灰、数字煤场等系统联网，完成全厂生产实时数据的采集和历史数据存储，支持群集或热备工作方式进行故障切换。 可对接opcda，opcua、modbus、scada等多种工业物联网数据采集协议。系统稳定运行5年确保24*7数据采集不间断。 提供的SIS系统应包含厂级监控应用软件，实时数据采集和历史数据存储功能、厂级生产过程监视和管理功能、性能计算、耗差分析、测点查看、趋势查看、过程回放，机组性能指标分析，优化运行曲线和设备操作指导，设备状态监测，机组在线性能试验、数据报表统计和分析。