业务和功能介绍
1.立项背景和目标：
当前网络信息传播极速扩散，传统人工舆情监测存在覆盖不全、响应滞后、分析低效等问题，企业机构机构亟需轻量化、可弹性扩容的舆情管理工具，打造全国企业舆情 SaaS 系统。
2.软件功能，核心功能模块的介绍
a).账号权限认证系统（经root账号/自动 进行权限分配 包含页面、按钮、功能）
b).数据获取（入池前，经python、java等其他语言进行各平台基础数据获取）
c).数据清洗（入池前，对个平台重复数据进行清洗，此轮进行舆情标注三类：正面、中性、负面 四级： 一般 关注 重点 紧急，舆情类别判断 民生、政治、企业、谣言等）
d).数据入池（入池，将通过初次数据清洗数据进行入池）
e).根据账号权限、要求获取数据（二次清洗）
3.主要流程：
企业： 账号购买功能鉴权(线下购买，线上开启权限) -> 设定舆情点 -> 使用
我司： 线下磋商 -> 成功后提供注册地址 -> 注册后开启部分权限（自动、手动两种方案）
网站： 数据采集 -> 数据首次清洗 -> 入池 -> 数据二次清洗 -> 查询报送（舆情报告）
当前网络信息传播极速扩散，传统人工舆情监测存在覆盖不全、响应滞后、分析低效等问题，企业机构机构亟需轻量化、可弹性扩容的舆情管理工具，打造全国企业舆情 SaaS 系统。
2.软件功能，核心功能模块的介绍
a).账号权限认证系统（经root账号/自动 进行权限分配 包含页面、按钮、功能）
b).数据获取（入池前，经python、java等其他语言进行各平台基础数据获取）
c).数据清洗（入池前，对个平台重复数据进行清洗，此轮进行舆情标注三类：正面、中性、负面 四级： 一般 关注 重点 紧急，舆情类别判断 民生、政治、企业、谣言等）
d).数据入池（入池，将通过初次数据清洗数据进行入池）
e).根据账号权限、要求获取数据（二次清洗）
3.主要流程：
企业： 账号购买功能鉴权(线下购买，线上开启权限) -> 设定舆情点 -> 使用
我司： 线下磋商 -> 成功后提供注册地址 -> 注册后开启部分权限（自动、手动两种方案）
网站： 数据采集 -> 数据首次清洗 -> 入池 -> 数据二次清洗 -> 查询报送（舆情报告）
项目实现
1.整体架构和设计思路，不同模块的技术栈
A）数据处理： 基于语言采集环境要求 选择使用 python语言，基于高并发及模块化需求选择使用java语言 引入 alibaba cloud 框架。（大坑 java语言可以爬取但环境不如python。同意义内容代码 python可用 java不可用。经排查为语言环境原因，此模块需长期维护成本较高，例如某音反扒更新极快）
B）权限处理：为保证细粒度权限划分、满足请求并发需求， 项目技术栈选型 Spring Security 保证鉴权安全 使用AOP面向切面解决方法级粒度权限划分。搭配Vue 前端 动态渲染技术。将页面、路由、权限级别、方法、按钮参数存储与数据库中、基于动态路由及渲染。实现高级别细粒度权限划分（大坑 AOP权限划分未设定好 会出现极大的性能、请求时间消耗）
C）数据清洗首次清洗（最为复杂、及其麻烦、从流程及保存都较为恶心）
a) 基础尝试，预测到极大内容 所以 采集内容哈希为标准进行初筛。但是发现内容量过高时。redis性能时间消耗巨大，随后引入布隆过滤
b) 使用布隆过滤后。性能压力得到缓解，为保证基本杜绝相似内容，以布隆为一层过滤。redis为二层过滤，但发现经过修改的舆情内容并不能被更高效拦截。随后引入 算法
c) 使用SimHash 及海明距离 + 词库分析（正负面及舆情类型）根据热点及查重分析确定等级类型 后面经其他团队更新了算法具体我也不太清楚涉及模型知识。当时还未参与过模型相关开发工作
D) 将结构化存储于ES 经过 经过ik细粒度存储 （大坑。有些词汇必须使用拓展否则无法命中。导致数据存储消耗未有明确效果）由于数据量庞大。按日级别进行存储不同ES索引中。
E) 二次入池。根据设定词条。进行二次清洗将 日级库内容查询存储月级索引库中 （高级用户单独设定 服务器存储池）
***** 未实现未写。项目涉及其他，项目目前状态异常，所以实例图片我做了一些加密处理
展示部分数据库结构及连接异常。尽请谅解
A）数据处理： 基于语言采集环境要求 选择使用 python语言，基于高并发及模块化需求选择使用java语言 引入 alibaba cloud 框架。（大坑 java语言可以爬取但环境不如python。同意义内容代码 python可用 java不可用。经排查为语言环境原因，此模块需长期维护成本较高，例如某音反扒更新极快）
B）权限处理：为保证细粒度权限划分、满足请求并发需求， 项目技术栈选型 Spring Security 保证鉴权安全 使用AOP面向切面解决方法级粒度权限划分。搭配Vue 前端 动态渲染技术。将页面、路由、权限级别、方法、按钮参数存储与数据库中、基于动态路由及渲染。实现高级别细粒度权限划分（大坑 AOP权限划分未设定好 会出现极大的性能、请求时间消耗）
C）数据清洗首次清洗（最为复杂、及其麻烦、从流程及保存都较为恶心）
a) 基础尝试，预测到极大内容 所以 采集内容哈希为标准进行初筛。但是发现内容量过高时。redis性能时间消耗巨大，随后引入布隆过滤
b) 使用布隆过滤后。性能压力得到缓解，为保证基本杜绝相似内容，以布隆为一层过滤。redis为二层过滤，但发现经过修改的舆情内容并不能被更高效拦截。随后引入 算法
c) 使用SimHash 及海明距离 + 词库分析（正负面及舆情类型）根据热点及查重分析确定等级类型 后面经其他团队更新了算法具体我也不太清楚涉及模型知识。当时还未参与过模型相关开发工作
D) 将结构化存储于ES 经过 经过ik细粒度存储 （大坑。有些词汇必须使用拓展否则无法命中。导致数据存储消耗未有明确效果）由于数据量庞大。按日级别进行存储不同ES索引中。
E) 二次入池。根据设定词条。进行二次清洗将 日级库内容查询存储月级索引库中 （高级用户单独设定 服务器存储池）
***** 未实现未写。项目涉及其他，项目目前状态异常，所以实例图片我做了一些加密处理
展示部分数据库结构及连接异常。尽请谅解
示例图片视频
相似推荐
端到端自动驾驶轻量化模型设计
本项目主要面向无人驾驶仿真研究、智能车辆轨迹跟踪与轻量化控制算法验证场景，围绕端到端自动驾驶技术开展系统设计与实验开发。项目基于 CARLA 仿真平台构建虚拟驾驶环境，通过采集车辆前视图像、行驶状态和控制指令等数据，训练轻量化神经网络模型，实现从环境感知输入到车辆控制输出的端到端映射。项目可用于自动驾驶算法教学、科研训练、数据采集、模型训练、仿真测试和轨迹跟踪效果评估，为低成本、高效率的自动驾驶算法验证提供支持。
本项目主要功能包括仿真环境搭建、自动驾驶数据采集、数据预处理、模型训练、模型推理和效果评估等模块。系统可在 CARLA 仿真环境中生成车辆行驶场景，自动采集车辆前方图像、方向盘转角、油门、刹车等控制数据，并生成对应的数据标签文件；同时支持对采集数据进行划分和预处理，形成训练集、验证集和测试集。模型部分采用轻量化端到端神经网络结构，通过输入车辆前视图像，直接预测车辆控制指令或轨迹跟踪相关参数，从而实现车辆在仿真道路中的自主行驶与轨迹跟踪。项目还支持训练过程记录、模型保存、测试推理和结果可视化，便于对算法性能进行分析和改进。
智慧园区管理平台
通过数字孪生技术，真实的真实整个园区的场景，通过物联网设备管理以及大数据分析，实时展示园区的整个状态。通过对接的硬件设备，实时显示园区的环境，气象，污水等数据，通过算法实现精准决策，完成控制设备的调控
电商平台web、app、小程序-石联网
石联网是全球最大石材行业国际性电子商务平台；由主站、会员站、手机站 、手机 app 、微信小程序、会员中心、后台管理构成，采用微服务模块化架构设计，运用新的.net core、webapi、efcode、await/async、多线程、rabbitmq、quartz.net、elasticsearch、redis、git、jenkins和devops 持续集成和自动化部署、ids 4身份认证、sqlserver 、vue/element-ui、Html5、js、css等技术
智能家居平台
1 全屋智能设备控制及场景定时控制（10多种设备）。
2 用户控制设备指令通过APP下发到平台，平台通过自定义协议下方到设备，实现用户和设备的交互。根据不用场景设置相应的设备关联控制和定时控制。
3 对接第三方设备天猫精灵、alexa、rokid语音机器人通过语音控制设备。
动态监控大屏系统
构建一个基于物联网设备运行数据的实时监控系统，通过大屏幕可视化展示设备运行状
态、性能指标和异常情况，帮助运维人员快速掌握设备整体运行状况，及时发现并处理潜
在问题，提高设备管理效率和系统可靠性。系统适用于制造业生产线、智慧楼宇、能源设
施等多种物联网应用场景
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服