程序聚合 软件案例 基于嵌入式软件采集的超大数据分析系统

基于嵌入式软件采集的超大数据分析系统

2026-01-07 14:13:04
行业:云计算、大数据
载体:嵌入式软件、云服务/云平台
技术:C、Go、Docker

业务和功能介绍

背景和目标:客户有上亿的用户,需要通过网络报文数据深入了解他们用户的使用情况,统计分析之后提供更好的服务,为客户开源节流

软件功能:嵌入式软件实现数据采集和初步清洗过滤功能;云平台负责与嵌入式软件通信实现控制和数据采集与存储;大数据分析系统负责对存储数据进行多维度分析,提供数据统计、报表和用户画像功能,并按照客户的业务需要筛选出有价值的客户

业务流程:控制通道,云平台根据客户需要定制过滤规则并下发到指定的嵌入式软件,嵌入式软件根据过滤规则进行采集数据的过滤;数据通道 ,嵌入式软件采集到云平台接收和存储再到大数据系统分析,最后输出客户业务结果

项目实现

规模:嵌入式软件每日活跃超过1亿,云平台采集数据的带宽超过2Gbps,大数据系统的ods层数据每日超过100亿条

个人负责:整体架构设计,各个模块的核心设计和开发,嵌入式软件占用存储约300KB、内存约20MB,通过lua脚本支持功能的热加载;云平台实现上百万端侧规则的下发;

大数据分析难点:刚开始使用java+scala进行Hive表的演算,但发现开发效率过低,后续通过自研实现基于python的SQL调度系统极大提升开发效率,并通过日志模块实现可观测与可调试

示例图片视频


原码天空
30天前活跃
方向: 后端-Go、后端-C、
交付率:100.00%
相似推荐
地图信息资源管理平台 -地图信息资源管理平台
该项目是集地理资源的整合 、搜索 、共享与管理于一体的云GIS门户平台,可提供企业级协同共享与资源管理能力,具备系统监控 、日志输出 、可视化界面定制等能力 。作为云GIS门户平台 ,整体采用用户中心 、资源中心 、应用中心 、管理中心四大中心来集中输入和输出资源与应用,以公共资源 、群组资源 、个人资源等方式来多维度的管理 、整合和利用资源。
宿舍管理组件 -教育综合安防管理平台
本组件是高校的宿舍管理应用,支持高校宿舍管理员 、教职工对组织下学生考勤归寝状态进行管理。组件支持学生入住 、门禁权限下发 、门禁通行记录、宿管考勤记录数据查看,支持给学校管理员推送学生考勤数据和待办事件提醒。在疫情期间上线了宿舍疫情管理模块,支持查看入住人员的测温信息。
智慧体育- 智慧体育教学管理平台
本产品是面向中小学的智慧体育综合管理平台,依托AI视觉识别和算法模型分析技术,为学校体育教学、测评、考试提供全流程的数字化解决方案。教师可以在教学助手小程序发起教学和体测任务,在教学管理平台可以查看学生运动成绩、指标建议和回溯视频数据,支持按校级和班级维度查看统计数据。区管可以查看区级学校汇总统计数据。
ShopStream 云商系统
立项背景:随着移动互联网的普及,中小商家需要一个覆盖 PC 端和移动端的电商解决方案来拓展线上销售渠道。传统电商平台入驻成本高、规则多,自建电商系统成为面向中小商家的可行方向。ShopStream 的目标是提供一个功能完整、开箱即用的 B2C 电商平台,让商家快速搭建自己的在线店铺。 软件功能:系统围绕电商核心链路设计了八大功能模块。消费者端支持用户注册登录、商品浏览搜索、多规格选择、购物车管理、微信支付下单、订单跟踪、确认收货和售后退款。商家管理后台提供商品上下架与 SKU 管理、订单处理与发货、退款审核、用户管理、分类品牌管理、系统配置和操作日志。另外还实现了商品收藏、热门搜索词、分类导航等辅助功能。 业务流程:消费者打开网站或小程序 → 浏览分类/搜索关键词 → 查看商品详情页(多图、多规格、价格)→ 加入购物车 → 选择收货地址 → 微信支付 → 下单成功 → 商家收到订单 → 发货 → 消费者确认收货 → 完成交易。如有问题可发起退款申请,商家审核处理
餐饮点餐 | 外卖 | 积分商城 | 分销 系统
这套系统是一个完整的餐饮点餐解决方案,包含三大应用: 1. 用户端应用:基于UniApp开发的微信小程序,支持多种点餐方式(外卖、自取、扫码点餐、预约点餐) 2. 商家端应用:商家管理系统,用于处理订单、管理商品和库存 3. 营销推广系统:代理商系统,用于拓展业务和推广营销 后端采用ThinkPHP+MySQL+Redis架构,前端采用+Vue开发,完整支持小程序生态,具有良好的可扩展性和定制性。系统支持多种点餐模式和支付方式,适合各类餐饮店铺使用。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服