物联网信息安全管理系统

1. 立项背景与目标
1.1 立项背景
连接数爆发与风险激增： 随着 5G、NB-IoT 技术的普及，物联网连接数已超越人口数。海量设备接入导致网络攻击面扩大，僵尸网络、DDoS 攻击、电信诈骗（利用物联网卡）等安全事件频发。
监管合规压力： 工信部及网信办多次发布通知（如《关于加强物联网卡安全管理的通知》），要求运营商落实物联网卡实名登记、机卡绑定、访问限制等安全措施，防止物联网卡流入非法渠道。
现网管理痛点： 当前运营商对物联网设备的管理存在“盲区”，难以实时感知设备异常行为（如静默卡突然激活、位置异常跳变、访问恶意域名），缺乏统一的安全监管手段。
1.2 项目目标
全域资产可视： 实现全国范围内物联网卡（ICCID/IMSI/MSISDN）与设备（IMEI）的 100% 实名关联与状态可视。
异常行为实时感知： 基于信令与流量日志，利用大数据与 AI 技术，秒级识别设备异常访问、机卡分离、高危端口通信等行为。
闭环处置能力： 建立“监测 - 预警 - 处置 - 反馈”的安全闭环，支持对风险卡片进行自动停机、限速或限制访问。
合规审计达标： 满足监管部门对物联网卡全生命周期安全管理的要求，提供可追溯的审计报表。
2. 关键功能与核心功能模块介绍
系统采用**“大数据流处理 + 规则引擎 + 威胁情报”**的技术架构，核心分为五大模块：

2.1 物联网资产全生命周期管理模块
功能描述： 管理物联网卡与设备的基础信息及状态。
核心能力：
实名信息库： 存储卡号、机主信息、行业应用类型（如车联网、智能水表）。
机卡绑定管理： 记录 IMEI（设备）与 IMSI（卡）的绑定关系，检测机卡分离行为。
状态监控： 实时监控卡片状态（激活、停机、沉默、注销）。
生命周期追踪： 记录开卡、激活、停机、复机、销户的全流程日志。
2.2 多源数据采集与预处理模块
功能描述： 负责从运营商核心网、业务平台获取海量数据。
核心能力：
信令数据采集： 采集 4G/5G 网络信令数据（附着、去附着、位置更新）。
流量日志采集： 采集 DPI（深度包检测）日志，提取访问域名、IP、端口、协议类型。
终端日志采集： 通过 Agent 或网关采集设备运行状态、登录日志。
数据清洗： 对海量日志进行去重、格式化、敏感信息（如用户隐私）脱敏处理。
2.3 安全行为分析与威胁检测模块（核心 AI 引擎）
功能描述： 系统的“大脑”，判断设备是否安全。
核心能力：
机卡分离检测： 比对实时信令中的 IMEI 与绑定库，发现换设备使用行为。
异常流量分析： 识别非业务时段大流量、高频访问、访问恶意域名/IP。
位置异常检测： 识别设备位置在短时间内发生不可能位移（如 1 小时内跨省）。
威胁情报匹配： 对接外部威胁情报库，匹配已知的僵尸网络 C&C 服务器地址。

1.整体架构和设计思路
微服务+大数据平台+tidb数据库集群，模块分为数据采集模块、数据处理模块、数据应用模块，各模块技术栈： 数据采集模块（nginx、lvs、sftp、kafka）、数据处理模块（kafka、flink、redis、elasticsearch、hive、tidb）、数据应用模块（springcloud、vue）

2.我负责的模块和结果
模块1：数据采集模块，通过etl流程生成规整后的kafka消息
模块2：数据处理模块，消费kafka数据，通过redis打标后存储数据到hive和elasticsearch

3.我遇到的难点、坑和解决方案
问题1：数据采集模块需要采集的数据很大，每天40T左右，对程序稳定性和效率是很大的考验
解决方案：针对sftp上报的数据，采用Linux lvs虚拟化技术，把数据实时分发到多个采集服务器处理，避免sftp服务器数据落盘减少磁盘IO；针对https上报的额数据，采用nginx分发到多个采集服务器处理，同时设置分发策略提升效率和稳定性；

问题2：数据处理模块需要消费打标的数据大
解决方案：设计大数据架构，flink实时消费、redis缓存打标提升吞吐量。