网络安全运营托管平台-TSOC

通过远程收集安全设备的日志和流量数据，利用大数据存储、分析技术，对各类安全数据进行关联分析和深入挖掘，通过7*24小时全面、持续的安全监测，及时发现各类网络攻击行为、系统脆弱性事件，并对安全事件进行通报预警及可视化呈现，一旦发生安全事件或有相关趋势，安全专家和分析师对事件进行分析及研判，第一时间通知客户，并协助客户对安全事件进行处置与加固等响应动作。
项目包括平台登录、数据接入、告警管理、事件管理、报告管理、威胁预警、服务管理、资产管理、漏洞管理、工单管理、系统管理等30多个模块。
使用大数据组件、配备充足系统资源，并在此基础上系统调优，保证系统稳定运行。实现
100 亿级以上数量存储，综合兑现一个全面的、智能的网络日志和事件管理、分析工具。高性能 7*24小时全面、持续的安全监测，及时发现各类网络攻击行为、系统脆弱性事件，提供 10+核心功能，多维度多视角的安全监测能力，可以从角色维度、资产维度、威胁维度和安全运营维度等多个维度输出不同的安全监测展示效果。原始威胁告警日志汇聚事件，运营和运维角色对事件中的典型告警分析研判，多种视图分析、桑基图展现，形成事件报告。创建周报、月报、快速报告、离线报告等灵活方式增强持续分析服务，不断改善客户安全感知环境。

项目团队30人，开发周期为9个月，我负责项目的主业务流程设计与实现工作，主要使用的开发技术有Java、Spring全家桶、mybatis、redis、kafka、minio、PostgreSQL等等，使用脚本技术有Python、shell等，使用的运维技术有docker、k8s、iptables等。
在开发过程的重大挑战需要每秒对接入近万条数据进行分析和处理。