程序聚合 软件案例 智能Web异常流量多级检测系统

智能Web异常流量多级检测系统

2025-07-09 21:37:52
行业:人工智能、安全
载体:网站、算法模型
技术:Python、Django、Vue、PyTorch

业务和功能介绍

核心问题:传统Web防火墙(如ModSecurity)依赖规则库维护,对新型攻击(如混淆编码SQL注入、慢速CC攻击)检出率不足40%,且高并发场景实时性差。
立项原因:

企业级Web应用面临攻击智能化挑战,2023年全球因Web攻击导致的数据泄露损失超$4.3B

论文验证方案在混合攻击数据集上F1值达99.54%,误报率低于0.6%
甲方对接:与某云安全厂商合作,针对其CDN服务中恶意流量识别需求定制开发,解决其日均20亿请求下的实时检测瓶颈
三级检测引擎
毫秒级初筛层

轻量CNN模型(35k参数)实时过滤流量:

正常请求:直接放行(耗时2-5ms)

可疑请求:转大模型复检(如含/admin.php?id=1'等非常规参数)

特征处理:URL标准化 + 词向量嵌入(16维)

语义级复检层

DeepSeek-R1-Qwen-1.5B微调模型:

LoRA技术更新0.1%参数(rank=8, alpha=16)

识别复杂攻击逻辑(如伪装为Base64)

混合精度推理:GPU用FP16(600ms/请求),CPU回退FP32

人工验证层

双模型冲突样本自动推送前端(如CNN判异常但大模型置信度<85%)

安全专家通过交互界面审核(带攻击特征高亮提示)

可视化系统
实时监控看板:
deepseek_mermaid_20250709_4410a7.png
三维特征空间:PCA降维展示攻击聚类(如SQL注入聚集在Z轴高危区)

批量处理:支持万级URL文件上传,平均4.5分钟完成100条分析

项目实现

开发周期:5个月(2025.2-2025.5) | 角色分工:单人全栈开发(论文作者)
技术架构亮点:

流式处理优化

多线程池并行:100请求响应时间从500s → 100s

故障回退链:本地模型 → 云端API → 正则规则(保障99.99%可用性)

LoRA微调策略

使用LLaMA Factory框架微调

效果:检测准确率从57.9%→96.75%(SQL/XSS数据集)

主动学习标注

基于不确定采样(uncertainty sampling)减少70%标注量

K-means聚类选择代表性样本

核心难点突破:

大模型部署:3.4GB GPU内存压缩(BF16混合精度 + 知识蒸馏)

实时性保障:CNN层承担85%流量,大模型仅处理高危请求

示例图片视频


Jeffery
30天前活跃
方向: 后端-Java、爬虫/脚本-爬虫/脚本、
交付率:100.00%
相似推荐
梵花田-梵花田
梵花田是一款专注于身心健康的应用,主要面向有睡眠困扰、焦虑情绪、需要放松和专注的用户群体。项目定位是提供高品质的白噪音、冥想课程、助眠故事等内容,帮助用户改善睡眠质量、缓解压力、提升专注力。 (业务模式) 采用 免费内容 + 会员订阅 的模式。用户可以免费使用部分白噪音和基础冥想内容,订阅会员后解锁全部冥想课程、原创助眠故事、高级混音功能等。 (核心功能介绍) 我将其后端核心功能分为以下几个模块: 声音模块 提供超过30种白噪音(如雨声、海浪、篝火、钢琴等),支持用户多轨混音(同时播放多个声音并独立调节音量)。 支持定时播放、收藏、最近播放记录。 冥想模块 包含 14天入门冥想计划,以及针对不同场景的主题课程(如“考前减压”、“职场焦虑缓解”、“睡前放松”等)。 记录用户的训练进度、连续打卡天数,支持课程评价。 睡眠助眠模块 提供原创的助眠故事(如“月光森林”、“海边小屋”等),配有舒缓的背景音乐和专业配音。 支持故事播放进度自动保存、定时关闭。 宝宝专区模块 专门为母婴群体设计,包含哄睡音乐、摇篮曲、睡前动画和短篇故事。 个人中心与会员模块 用户注册登录(手机号/微信)、会员购买与续费、历史记录、收藏夹、睡眠统计报告等。 后台管理系统 为运营人员提供内容发布(上传音频、配图、文字)、用户管理、数据看板(日活、播放量、会员转化率)等功能。
音视频编辑引擎 WES 自动化测试平台-万兴喵影
WES 是公司中台部门自研的基于本地执行的 C++ SDK,主要实现时间线编辑、音视频处 理、特效添加以及各类音视频格式导出等功能。原先无中台自动化测试,依赖开发提供的 Demo 进行手工验证。个人主导从 0 到 1 逐步构建起自动化测试框架。
短剧 & 网文全链路内容服务平台(含分销 / 实验体系)
立项背景和目标:针对短剧与网文内容爆发式增长需求,搭建覆盖多端的全链路内容服务平台,实现内容分发、付费转化、广告变现及数据化运营的一体化闭环。目标是提升内容曝光效率与用户留存率,通过 A/B 实验优化产品体验,搭建分销体系拓展业务边界,支撑千万级日活用户的高并发稳定运行。 软件功能、核心功能模块的介绍: 内容分发模块:支撑短剧、网文多类型内容的个性化推荐,支持首页、单列、搜索等多场景内容展示,通过 A/B 实验框架动态调整内容样式与推荐策略。 付费与变现模块:集成短剧付费点播、广告变现(开屏、信息流)能力,对接 Pangle、IronSource 等第三方广告平台,实现广告精准投放与付费转化。 实验与运营模块:搭建 A/B 实验平台,支持多维度分组配置,实现不同用户组展示差异化内容 / 样式,配套数据埋点与效果统计。 分销结算模块:构建短剧分销后台,支持合作方管理、每日收入自动拆分、数据对账,保障分账数据准确与高效结算。 多端适配模块:IOS、安卓 APP 多端统一开发,保证跨端体验一致性与功能同步迭代。 业务流程、功能路径描述:用户从多端入口进入平台 → 后端通过 A/B 实验分组匹配差异化内容配置 → 前端渲染个性化内容页面 → 用户完成浏览、播放、付费 / 广告点击等行为 → 数据实时埋点上报至数据中心 → 结算模块异步处理分销收入拆分与对账 → 运营通过数据看板分析实验效果与业务数据,迭代优化内容策略与产品功能
OTT直播流媒体编码服务器-LiveEncoder
1. 立项背景和目标 为内容供应商如体育联盟、电影电视产业、音视频行业提供专业卓越的音视频质量,采用高精度编码技术、广播级视频传输应用设计,在分发过程中最大限度保留原始视频的图像细节、清晰度和色彩梯度,成为提供OTT/IP视频平台的关键头端组件。 2. 主要功能和特性 - 多信源接入 支持开放标准的系统输入流协议, 支持采集卡(Decklink、AJA等)、Webcam、NDI、TS over TCP/UDP/RTP/RTMP/HTTP/HLS/SRT/ZIXI等。 - 多协议输出 支持开放标准的直播流协议,如RTMP/RTP/SRT/ZIXI/HLS/MP4等,可以接驳各种主流的流媒体服务器。 - 广泛的数据服务 除了音视频,提供标准的数据服务,如隐藏式字幕(CC 608/708)、DVB Subtitle、Teletext、SMPTE2038、广告信号SCTE-104/35透传/转换/插入等,为视频提供合规、增值服务。 - 可靠的冗余设计 提供输入输出信号级别、工作流级别、节点实例和设备级别的故障转移冗余设计,支持自动手动、手动、预设方式的1+1/N+M故障转移方式。 3. 业务流程 工作流:工作配置 -> 输入 -> 预处理 -> 编码 -> 输出 - 工作配置 音视频格式,编码参数设置,数据支持等模版 - 输入 接收客户提供的信号,分解信号内容 - 预处理 如果需要,解码成工作配置的音视频格式,解析各种包含在信号里的数据如字幕、广告点,添加台标,等 - 编码 根据编码参数设置编码成输出格式,支持CPU/GPU编码 - 输出 交织并封装音视频,支持各种流媒体协议输出
某政府单位电视监测业务仿真测试平台
同时操控多个测试测量仪器和前端(待测物),使用多个通讯协议; 模板化复杂测试,节约大量人力成本和时间成本; 支持人工定制化,控制各测量仪器对前端进行自定义测试; 多线程以及线程间同步, 支持同时测试多台前端
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服