通过远程收集安全设备的日志和流量数据,利用大数据存储、分析技术,对各类安全数据进行关联分析和深入挖掘,通过7*24小时全面、持续的安全监测,及时发现各类网络攻击行为、系统脆弱性事件,并对安全事件进行通报预警及可视化呈现,一旦发生安全事件或有相关趋势,安全专家和分析师对事件进行分析及研判,第一时间通知客户,并协助客户对安全事件进行处置与加固等响应动作。
项目包括平台登录、数据接入、告警管理、事件管理、报告管理、威胁预警、服务管理、资产管理、漏洞管理、工单管理、系统管理等30多个模块。
使用大数据组件、配备充足系统资源,并在此基础上系统调优,保证系统稳定运行。实现
100 亿级以上数量存储,综合兑现一个全面的、智能的网络日志和事件管理、分析工具。高性能 7*24小时全面、持续的安全监测,及时发现各类网络攻击行为、系统脆弱性事件,提供 10+核心功能,多维度多视角的安全监测能力,可以从角色维度、资产维度、威胁维度和安全运营维度等多个维度输出不同的安全监测展示效果。原始威胁告警日志汇聚事件,运营和运维角色对事件中的典型告警分析研判,多种视图分析、桑基图展现,形成事件报告。创建周报、月报、快速报告、离线报告等灵活方式增强持续分析服务,不断改善客户安全感知环境。
项目团队30人,开发周期为9个月,我负责项目的主业务流程设计与实现工作,主要使用的开发技术有Java、Spring全家桶、mybatis、redis、kafka、minio、PostgreSQL等等,使用脚本技术有Python、shell等,使用的运维技术有docker、k8s、iptables等。
在开发过程的重大挑战需要每秒对接入近万条数据进行分析和处理。