程序聚合软件案例基于嵌入式软件采集的超大数据分析系统

基于嵌入式软件采集的超大数据分析系统

2026-01-07 14:13:04

行业：云计算、大数据

载体：嵌入式软件、云服务/云平台

技术：C、Go、Docker

业务和功能介绍

背景和目标：客户有上亿的用户，需要通过网络报文数据深入了解他们用户的使用情况，统计分析之后提供更好的服务，为客户开源节流

软件功能：嵌入式软件实现数据采集和初步清洗过滤功能；云平台负责与嵌入式软件通信实现控制和数据采集与存储；大数据分析系统负责对存储数据进行多维度分析，提供数据统计、报表和用户画像功能，并按照客户的业务需要筛选出有价值的客户

业务流程：控制通道，云平台根据客户需要定制过滤规则并下发到指定的嵌入式软件，嵌入式软件根据过滤规则进行采集数据的过滤；数据通道，嵌入式软件采集到云平台接收和存储再到大数据系统分析，最后输出客户业务结果

项目实现

规模：嵌入式软件每日活跃超过1亿，云平台采集数据的带宽超过2Gbps，大数据系统的ods层数据每日超过100亿条

个人负责：整体架构设计，各个模块的核心设计和开发，嵌入式软件占用存储约300KB、内存约20MB，通过lua脚本支持功能的热加载；云平台实现上百万端侧规则的下发；

大数据分析难点：刚开始使用java+scala进行Hive表的演算，但发现开发效率过低，后续通过自研实现基于python的SQL调度系统极大提升开发效率，并通过日志模块实现可观测与可调试

示例图片视频

原码天空

30天前活跃

方向：后端-Go、后端-C、

交付率：100.00%

查看主页

相似推荐

外汇自动化程序量化交易

外汇自动化程序量化交易，用MQL5语言实现。核心技术 MQL5语言开发，使用布林带指标检测波动率收缩，通过挂单交易实现突破策略。采用移动止损动态保护利润，使用订单选择器管理持仓和挂单。技术难点多订单协调：同时管理Buy Stop和Sell Stop两个挂单，一方成交后需立即删除另一方状态同步：持仓管理、挂单删除、移动止损之间的状态机切换复杂止损移动精度：需判断盈利是否达到启动点，且每次移动必须超过最小步长，避免频繁修改订单

门户官网

你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好你好

校园门户

1.方便高校教师统一平台入口账号，把学校所以网站统一到门户系统，统一登陆登出，同一账号密码 2.功能主要包括统一入口，所有平台的消息汇总，代办已办事项汇总，课表信息，办事大厅，定时任务等 3.对接数据中心，实时同步数据

小程序商城

主要是为了聚焦公司老年人购买商品的需求，产生了下属模块，并且接入旺店通进行仓储物流管理，来满足需求正常的运行，项目和后续正常上线交付商城首页促销模块商品详情商品列表会员中心等

实时电商运营数据中台-数舰 - DataBridge

立项背景是业务数据分散在多个系统，决策缺乏实时数据支撑。目标是构建统一数据中台，实现销售、库存、用户行为数据实时可视化。核心功能包括 GMV 实时监控、商品销量排行、用户画像分析、转化漏斗追踪、异常数据告警。业务流程：多源数据接入→Kafka 实时清洗→指标计算→大屏渲染→阈值告警。