程序聚合软件案例基于嵌入式软件采集的超大数据分析系统

基于嵌入式软件采集的超大数据分析系统

2026-01-07 14:13:04

行业：云计算、大数据

载体：嵌入式软件、云服务/云平台

技术：C、Go、Docker

业务和功能介绍

背景和目标：客户有上亿的用户，需要通过网络报文数据深入了解他们用户的使用情况，统计分析之后提供更好的服务，为客户开源节流

软件功能：嵌入式软件实现数据采集和初步清洗过滤功能；云平台负责与嵌入式软件通信实现控制和数据采集与存储；大数据分析系统负责对存储数据进行多维度分析，提供数据统计、报表和用户画像功能，并按照客户的业务需要筛选出有价值的客户

业务流程：控制通道，云平台根据客户需要定制过滤规则并下发到指定的嵌入式软件，嵌入式软件根据过滤规则进行采集数据的过滤；数据通道，嵌入式软件采集到云平台接收和存储再到大数据系统分析，最后输出客户业务结果

项目实现

规模：嵌入式软件每日活跃超过1亿，云平台采集数据的带宽超过2Gbps，大数据系统的ods层数据每日超过100亿条

个人负责：整体架构设计，各个模块的核心设计和开发，嵌入式软件占用存储约300KB、内存约20MB，通过lua脚本支持功能的热加载；云平台实现上百万端侧规则的下发；

大数据分析难点：刚开始使用java+scala进行Hive表的演算，但发现开发效率过低，后续通过自研实现基于python的SQL调度系统极大提升开发效率，并通过日志模块实现可观测与可调试

示例图片视频

原码天空

1天前活跃

方向：后端-Go、后端-C、

交付率：100.00%

查看主页

相似推荐

骏语科技自助打印系统-后台管理系统

1、自助打印后端管理系统 2、运营数据导航 3、订单管理系统与会员管理系统 4、终端设备管理系统 5、设备故障管理系统：远程控制、故障预警 6、远程设备控制系统：设备重启、停启用等 7、设备区域管理系统 8、代理商、运营商管理系统 9、数据报表系统、分润系统等 10、多用户权限管路 11、大屏数据孪生系统等

骏语科技自助打印系统-骏语科技小程序

1、骏语自助打印系统配套前段微信小程序 2、基于终端设备的基础打印机功能，定制文档打印，相片冲印功能 3、具备远程打印下单功能，自动计费。 4、支持word/excel/ppt/wps/pdf/图片等文件打印 5、具备AI功能实现AI翻译、AI换背景、AI问答 6、具备AI客服功能 8、具备会员管理系统 9、具备订单管理系统 10、具备钱包功能 11、对接微信支付 12、具备广告展示系统

外卖电商-外卖

此项目为实习需要,实现了商家处理管理订单,外卖骑手接单,客户小程序下单查看订单等一系列服务于外卖场景的业务。分为客户端和管理端两个端。主体流程为客户可以在微信小程序进行外卖的下单、查看订单、取消订单等一系列操作,商家可以接受、备餐、取消订单、导出订单等一系列操作

低代码开发平台-toga页面设计

BeeWare 的 Toga 布局助手是一款专为 BeeWare Toga 框架设计的可视化布局工具。它允许开发者通过直观的拖拽界面快速构建 Python 原生应用的 UI 结构，并自动生成符合 Toga 规范的 Python 源代码。该工具支持实时预览、属性编辑以及多窗口设计，极大地简化了 Toga 应用的界面开发流程。

数据报表自动生成系统

1.背景：每日需要重复下载各部门营销数据、计算净利润等，人工操作耗时需要2-3小时，需要解决低效等问题。 2.目标：自动获取数据，计算结果，自动生成报表发送给部门负责人。 3.主要功能：数据采集、数据清洗、数据计算、报表生成。 4.主要技术：影刀RPA+python。