业务和功能介绍
1.立项背景和目标：
当前网络信息传播极速扩散，传统人工舆情监测存在覆盖不全、响应滞后、分析低效等问题，企业机构机构亟需轻量化、可弹性扩容的舆情管理工具，打造全国企业舆情 SaaS 系统。
2.软件功能，核心功能模块的介绍
a).账号权限认证系统（经root账号/自动 进行权限分配 包含页面、按钮、功能）
b).数据获取（入池前，经python、java等其他语言进行各平台基础数据获取）
c).数据清洗（入池前，对个平台重复数据进行清洗，此轮进行舆情标注三类：正面、中性、负面 四级： 一般 关注 重点 紧急，舆情类别判断 民生、政治、企业、谣言等）
d).数据入池（入池，将通过初次数据清洗数据进行入池）
e).根据账号权限、要求获取数据（二次清洗）
3.主要流程：
企业： 账号购买功能鉴权(线下购买，线上开启权限) -> 设定舆情点 -> 使用
我司： 线下磋商 -> 成功后提供注册地址 -> 注册后开启部分权限（自动、手动两种方案）
网站： 数据采集 -> 数据首次清洗 -> 入池 -> 数据二次清洗 -> 查询报送（舆情报告）
当前网络信息传播极速扩散，传统人工舆情监测存在覆盖不全、响应滞后、分析低效等问题，企业机构机构亟需轻量化、可弹性扩容的舆情管理工具，打造全国企业舆情 SaaS 系统。
2.软件功能，核心功能模块的介绍
a).账号权限认证系统（经root账号/自动 进行权限分配 包含页面、按钮、功能）
b).数据获取（入池前，经python、java等其他语言进行各平台基础数据获取）
c).数据清洗（入池前，对个平台重复数据进行清洗，此轮进行舆情标注三类：正面、中性、负面 四级： 一般 关注 重点 紧急，舆情类别判断 民生、政治、企业、谣言等）
d).数据入池（入池，将通过初次数据清洗数据进行入池）
e).根据账号权限、要求获取数据（二次清洗）
3.主要流程：
企业： 账号购买功能鉴权(线下购买，线上开启权限) -> 设定舆情点 -> 使用
我司： 线下磋商 -> 成功后提供注册地址 -> 注册后开启部分权限（自动、手动两种方案）
网站： 数据采集 -> 数据首次清洗 -> 入池 -> 数据二次清洗 -> 查询报送（舆情报告）
项目实现
1.整体架构和设计思路，不同模块的技术栈
A）数据处理： 基于语言采集环境要求 选择使用 python语言，基于高并发及模块化需求选择使用java语言 引入 alibaba cloud 框架。（大坑 java语言可以爬取但环境不如python。同意义内容代码 python可用 java不可用。经排查为语言环境原因，此模块需长期维护成本较高，例如某音反扒更新极快）
B）权限处理：为保证细粒度权限划分、满足请求并发需求， 项目技术栈选型 Spring Security 保证鉴权安全 使用AOP面向切面解决方法级粒度权限划分。搭配Vue 前端 动态渲染技术。将页面、路由、权限级别、方法、按钮参数存储与数据库中、基于动态路由及渲染。实现高级别细粒度权限划分（大坑 AOP权限划分未设定好 会出现极大的性能、请求时间消耗）
C）数据清洗首次清洗（最为复杂、及其麻烦、从流程及保存都较为恶心）
a) 基础尝试，预测到极大内容 所以 采集内容哈希为标准进行初筛。但是发现内容量过高时。redis性能时间消耗巨大，随后引入布隆过滤
b) 使用布隆过滤后。性能压力得到缓解，为保证基本杜绝相似内容，以布隆为一层过滤。redis为二层过滤，但发现经过修改的舆情内容并不能被更高效拦截。随后引入 算法
c) 使用SimHash 及海明距离 + 词库分析（正负面及舆情类型）根据热点及查重分析确定等级类型 后面经其他团队更新了算法具体我也不太清楚涉及模型知识。当时还未参与过模型相关开发工作
D) 将结构化存储于ES 经过 经过ik细粒度存储 （大坑。有些词汇必须使用拓展否则无法命中。导致数据存储消耗未有明确效果）由于数据量庞大。按日级别进行存储不同ES索引中。
E) 二次入池。根据设定词条。进行二次清洗将 日级库内容查询存储月级索引库中 （高级用户单独设定 服务器存储池）
***** 未实现未写。项目涉及其他，项目目前状态异常，所以实例图片我做了一些加密处理
展示部分数据库结构及连接异常。尽请谅解
A）数据处理： 基于语言采集环境要求 选择使用 python语言，基于高并发及模块化需求选择使用java语言 引入 alibaba cloud 框架。（大坑 java语言可以爬取但环境不如python。同意义内容代码 python可用 java不可用。经排查为语言环境原因，此模块需长期维护成本较高，例如某音反扒更新极快）
B）权限处理：为保证细粒度权限划分、满足请求并发需求， 项目技术栈选型 Spring Security 保证鉴权安全 使用AOP面向切面解决方法级粒度权限划分。搭配Vue 前端 动态渲染技术。将页面、路由、权限级别、方法、按钮参数存储与数据库中、基于动态路由及渲染。实现高级别细粒度权限划分（大坑 AOP权限划分未设定好 会出现极大的性能、请求时间消耗）
C）数据清洗首次清洗（最为复杂、及其麻烦、从流程及保存都较为恶心）
a) 基础尝试，预测到极大内容 所以 采集内容哈希为标准进行初筛。但是发现内容量过高时。redis性能时间消耗巨大，随后引入布隆过滤
b) 使用布隆过滤后。性能压力得到缓解，为保证基本杜绝相似内容，以布隆为一层过滤。redis为二层过滤，但发现经过修改的舆情内容并不能被更高效拦截。随后引入 算法
c) 使用SimHash 及海明距离 + 词库分析（正负面及舆情类型）根据热点及查重分析确定等级类型 后面经其他团队更新了算法具体我也不太清楚涉及模型知识。当时还未参与过模型相关开发工作
D) 将结构化存储于ES 经过 经过ik细粒度存储 （大坑。有些词汇必须使用拓展否则无法命中。导致数据存储消耗未有明确效果）由于数据量庞大。按日级别进行存储不同ES索引中。
E) 二次入池。根据设定词条。进行二次清洗将 日级库内容查询存储月级索引库中 （高级用户单独设定 服务器存储池）
***** 未实现未写。项目涉及其他，项目目前状态异常，所以实例图片我做了一些加密处理
展示部分数据库结构及连接异常。尽请谅解
示例图片视频
相似推荐
基于stm32的可视化物联网平台检测系统
本系统基于 STM32 主控，集成多类环境传感器采集温湿度、空气质量等数据，通过物联网模块上传至可视化平台，实现数据实时监测、异常告警与远程控制，界面直观易用，适用于智能家居、工业监测等场景，兼具高可靠性与低功耗特性。
宇数B2机器狗开发
基于定制的宇数B2机器狗上的云台设别开发实时识别的功能
1.实时识别云台回传的rtsp流，并将识别后的画面推传出去，使其在客户端可以实时看到识别框的画面。
2.录制识别到的短视频并回传到平台，用于数据分析。
仓储物流管理系统-一物一码
这个项目是基于若依（RuoYi）v3.8.2 深度二次开发的一套企业级“一物一码追溯与供应链协同平台”。
主要服务快消制造场景中的箱码、瓶码、托盘码关联管理与全链路追踪：支持箱托关系查询、码级明细下钻、入库/出库记录管理、历史追溯以及多工厂维度的数据过滤；同时提供问题上报与闭环处理能力，支持按工厂、产线、供应商、问题类型进行协同流转，并可导出统计数据。系统还集成了微信小程序接口，支持移动端登录、权限下发、扫码查询、业务操作上报，便于一线人员在仓库、产线和现场快速处理任务。此外，项目接入了人脸认证流程（含二维码校验、认证次数控制、认证结果回写），用于关键操作场景的身份核验与风控。结合 WMS、外部平台调用与日志审计能力，这个项目本质上是一套将“防伪追溯、仓储物流、现场质控、移动协同、身份认证”打通的数字化运营系统，目标是提升数据可追踪性、作业规范性和异常处理效率。
工业数据采集
windows平台软件，主要用于工业设备PLC数据采集，系统框图展示，系统数据采集和显示，系统告警实时提醒，
提供系统操作控制界面，快速的操作系统的功能；系统数据实时显示和保存，历史数据的显示和图表绘制。
智慧停车系统
一、立项背景与目标
当前城市停车难、停车乱问题突出，路内外停车资源分散、利用率低，人工管理效率低下且易出现收费不规范等问题，同时政府对城市静态交通治理、智慧交通建设的需求日益迫切。基于此，智慧停车平台立项，核心目标是依托新一代信息技术，统筹城市停车资源，构建城市级静态交通管理体系，实现停车资源数字化、可视化管理，优化车主停车体验，助力政府交通治理，赋能停车企业提质增效，推动智慧停车与智慧生活生态深度融合。
二、软件功能、核心功能模块介绍
智慧停车平台涵盖多端协同功能，覆盖web端、移动手机端、后台运营端等多个终端，核心功能模块围绕车主服务、运营管理、政府监管、平台支撑四大维度展开。
（一）核心功能模块
1. 车主服务模块：作为核心前端模块，提供车位查询、在线预约、智能导航、无感支付、订单管理、电子发票等全流程服务，新增AI停车助手、共享车位、充电洗车等延伸服务，支持多渠道支付，大幅提升车主停车便捷度。
2. 运营管理模块：面向停车运营企业，提供设备远程监控、泊位实时管理、计费规则设置、订单统计、巡检管理等功能，结合数字孪生技术直观展示停车场状态，实现精细化运营，提升管理效率。
3. 政府监管模块：为交通管理部门提供停车数据汇总、拥堵预测、扩容建议等服务，梳理130多个行业核心指标，实现与车管、交管部门数据对接，助力城市交通规划和动静态交通一体化治理。
4. 平台支撑模块：包含大数据、星光物联、数字孪生平台，负责数据采集、分析与可视化，支撑全平台稳定运行，为各模块提供数据支持，保障平台安全与迭代升级。
（二）辅助功能
涵盖智能客服、消息推送、实名认证、积分商城等功能，优化用户体验，同时支持停车费复议、投诉处理等服务，完善服务闭环；新增特色功能，丰富运营场景。
三、业务流程、功能路径描述
（一）核心业务流程
平台业务围绕“资源整合-用户服务-运营管理-数据赋能”闭环展开：整合各类停车资源，通过智能硬件采集泊位信息；为车主提供全流程停车服务；运营企业实现精细化管理，政府依托数据开展交通治理；通过大数据优化资源配置，拓展生态服务，形成完整闭环。
（二）核心功能路径
1. 车主停车路径：车主通过APP/小程序登录→查询空闲车位→预约（可选）→导航前往→车辆识别放行→自动计时→离场支付→抬杆放行，可申请电子发票、查询订单。
2. 运营管理路径：运营人员登录后台→查看停车场实时状态→设置计费规则与巡检任务→处理设备故障→统计数据→通过分析优化运营策略。
3. 政府监管路径：工作人员登录监管端→查看停车资源与拥堵情况→获取分析报告→依据数据制定交通治理政策，实现精细化监管。
平台实现停车资源“一张网”管理，打通三方信息壁垒，形成“停车-出行-生活”一体化服务生态，目前已在全国40多个城市落地，管理泊位超60万个，服务车辆达3000多万辆。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服