程序聚合 软件案例 大数据push发送后台

大数据push发送后台

2026-05-20 14:15:57
行业:人力资源/HR
载体:操作系统
技术:PHP、Redis、MySQL Workbench

业务和功能介绍

这是一个定时发送push的任务,需要给用户发puh消息。
大数据组会每天提供一批用户id,每天300到400w用户,一天需要发四轮。
每天的总push量达到了上千万。每天9点开始,21点结束,故每次push的定时任务需要在3小时内跑完。如果超过规定时间就不能在发了


项目实现

1. 数据源由大数据提供,我们读共享文件,每天大概300W,每行一个账号 id
2. 后台用定时 shell 任务方式,shell 脚本中先判断线上文件是否存在,存在拷贝到当前目录,并新加子目录用来存放切割好的小文件,默认5W行一个文件,也可以由 sh 参数控制
3. 遍历子目录中文件,开启 php 进程,传参包含子文件路径,默认开启30个进程,也可以有 sh 传参控制,通过使用 wait 控制当前开启进程数量,wait 会等所有进程都结束后在开启下一批进程
4. 凌晨2点会先有一个预跑程序(凌晨是低峰时候,可以开多些进程),把跑好的数据存数据库中,每天一张表(该表不同程序删除,删表权限比较敏感,等数据比较多后通知 dba 手动删除线上数据)
5. 正式跑数据发 push 时候,会先判断用户求职意向和预跑时候是否更新过,如果没更新读预跑的数据库,否则重新查所有相关数据。
6. 个性化推荐 push 每条都单独放队列中,非个性化 push 满足100条后在放队列中(减轻队列消费压力)

示例图片视频


风吹过
5天前活跃
方向: 后端-Go、后端-PHP、
交付率:100.00%
相似推荐
能耗管理平台
项目主要实现将图像识别,机器学习等技术融入室内雪场环境。利用图像识别实时监控冷风机结霜情况,并根据识别结构进行实时融霜;将制冷造雪相关参数输入模型,结合能耗分析,生成相应的控制策略,实现节能减排的目的。
表格生成器
本质是 “窗体容器化 + 数据库驱动” 的业务管理原型 ,目标解决: 多业务流程的分步操作(通过窗体嵌入、切换实现)。 业务规则、数据的可视化管理(结合数据库与 DataGridView )。 桌面应用的交互体验(动态布局、多窗体协作 )。
城市物联网消防远程监控系统
城市远程监控系统主要是以服务企业主旨,基于国家消防标准,对企业消防设施实现在线监控及日常巡查工作,为消防监管部门减负,为消防救援处置工作提供便捷。 1.在线监测模块包括智能消防主机预警系统、消防水系统、消防电气预警系统、智能风机等系统。 2.日常巡查模块,是根据国家规范,通过小程序定时下发巡查任务,按照年度、季度、月底制定不同的消防巡查内容。 3.企业应预案管理模块主要是对企业台账信息、图纸信息、培训信息、维保信息实现可视化,在消防救援过程中提供有效支撑。 4.3D建模系统,根据企业平面图,标注重要部位位置,并联动在线监测设备,有异常及时推送。
远程设备控制系统-设备控制
本远程设备控制系统面向物联网智能设备管控场景,配套网页管理端与微信小程序双载体,实现全流程设备远程可视化管控: 设备数据实时采集:在线读取温湿度、电量、设备运行状态等传感数据,数据实时刷新展示; 远程控制操作:支持远程开关设备、调节灯具亮度、继电器通断、参数阈值自定义配置; 设备资产管理:设备分组管理、在线离线状态监测、历史运行数据存储与查询; 告警提醒机制:设备异常、超温断电等场景自动推送消息提醒,方便运维人员及时处置; 权限分级管控:区分管理员、普通操作员账号,限定设备操作与数据查看权限。
工业控制程序-电镀
权限控制:指纹识别。 采集参数:采集整流器、温控器、液位器、PH检测器、镭射机、电机、参数 远端设定设备参数 采集oee数据 生成生产数量,不良品,生产时间记录 自动列印标签:接受plc信号,自动列印标签 plc交互,长读取地址映射,小区块拼接大块,防止读取次数过多,交互时间变长 modbus rtu asii tcp
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服