业务和功能介绍
核心问题：传统Web防火墙（如ModSecurity）依赖规则库维护，对新型攻击（如混淆编码SQL注入、慢速CC攻击）检出率不足40%，且高并发场景实时性差。
立项原因：
企业级Web应用面临攻击智能化挑战，2023年全球因Web攻击导致的数据泄露损失超$4.3B
论文验证方案在混合攻击数据集上F1值达99.54%，误报率低于0.6%
甲方对接：与某云安全厂商合作，针对其CDN服务中恶意流量识别需求定制开发，解决其日均20亿请求下的实时检测瓶颈
三级检测引擎
毫秒级初筛层
轻量CNN模型（35k参数）实时过滤流量：
正常请求：直接放行（耗时2-5ms）
可疑请求：转大模型复检（如含/admin.php?id=1'等非常规参数）
特征处理：URL标准化 + 词向量嵌入（16维）
语义级复检层
DeepSeek-R1-Qwen-1.5B微调模型：
LoRA技术更新0.1%参数（rank=8, alpha=16）
识别复杂攻击逻辑（如伪装为Base64）
混合精度推理：GPU用FP16（600ms/请求），CPU回退FP32
人工验证层
双模型冲突样本自动推送前端（如CNN判异常但大模型置信度<85%）
安全专家通过交互界面审核（带攻击特征高亮提示）
可视化系统
实时监控看板：
deepseek_mermaid_20250709_4410a7.png
三维特征空间：PCA降维展示攻击聚类（如SQL注入聚集在Z轴高危区）
批量处理：支持万级URL文件上传，平均4.5分钟完成100条分析
立项原因：
企业级Web应用面临攻击智能化挑战，2023年全球因Web攻击导致的数据泄露损失超$4.3B
论文验证方案在混合攻击数据集上F1值达99.54%，误报率低于0.6%
甲方对接：与某云安全厂商合作，针对其CDN服务中恶意流量识别需求定制开发，解决其日均20亿请求下的实时检测瓶颈
三级检测引擎
毫秒级初筛层
轻量CNN模型（35k参数）实时过滤流量：
正常请求：直接放行（耗时2-5ms）
可疑请求：转大模型复检（如含/admin.php?id=1'等非常规参数）
特征处理：URL标准化 + 词向量嵌入（16维）
语义级复检层
DeepSeek-R1-Qwen-1.5B微调模型：
LoRA技术更新0.1%参数（rank=8, alpha=16）
识别复杂攻击逻辑（如伪装为Base64）
混合精度推理：GPU用FP16（600ms/请求），CPU回退FP32
人工验证层
双模型冲突样本自动推送前端（如CNN判异常但大模型置信度<85%）
安全专家通过交互界面审核（带攻击特征高亮提示）
可视化系统
实时监控看板：
deepseek_mermaid_20250709_4410a7.png
三维特征空间：PCA降维展示攻击聚类（如SQL注入聚集在Z轴高危区）
批量处理：支持万级URL文件上传，平均4.5分钟完成100条分析
项目实现
开发周期：5个月（2025.2-2025.5） | 角色分工：单人全栈开发（论文作者）
技术架构亮点：
流式处理优化
多线程池并行：100请求响应时间从500s → 100s
故障回退链：本地模型 → 云端API → 正则规则（保障99.99%可用性）
LoRA微调策略
使用LLaMA Factory框架微调
效果：检测准确率从57.9%→96.75%（SQL/XSS数据集）
主动学习标注
基于不确定采样（uncertainty sampling）减少70%标注量
K-means聚类选择代表性样本
核心难点突破：
大模型部署：3.4GB GPU内存压缩（BF16混合精度 + 知识蒸馏）
实时性保障：CNN层承担85%流量，大模型仅处理高危请求
技术架构亮点：
流式处理优化
多线程池并行：100请求响应时间从500s → 100s
故障回退链：本地模型 → 云端API → 正则规则（保障99.99%可用性）
LoRA微调策略
使用LLaMA Factory框架微调
效果：检测准确率从57.9%→96.75%（SQL/XSS数据集）
主动学习标注
基于不确定采样（uncertainty sampling）减少70%标注量
K-means聚类选择代表性样本
核心难点突破：
大模型部署：3.4GB GPU内存压缩（BF16混合精度 + 知识蒸馏）
实时性保障：CNN层承担85%流量，大模型仅处理高危请求
示例图片视频
相似推荐
万能水印相机打卡
本项目为外勤工作场景打造的水印相机工具，旨在解决传统照片无时间、地点、人员信息，导致考勤、工程验收、巡检记录无法溯源、易篡改的问题。
业务背景覆盖建筑施工、物业巡检、物流配送、环卫检查、外勤打卡等行业，用户需要快速拍摄带可篡改水印的现场照片，作为工作留痕与合规凭证，提升管理效率与数据可信度。
直播平台-嗨播谷
一站式短视频生态APP全部开发完成，集内容浏览、视频创作、直播带货、流量分润于一体。完善创作者激励、商家入驻、订单交易系统，适配多端流畅运行，依托智能分发机制高效引流，为个人创作者与商家提供完整流量变现渠道。
Go+FFmpeg 抖音财经股票指标视频自动化生成系统
一、项目简介
本人自1993年接触证券市场，2004年尝试用PHP开发自动化指标筛选程序，因并发性能限制，批量数据运算耗时过长。2015年转向Go语言，依托原生并发模型，将运算耗时由半小时优化至1分钟内，期间对比Python、Julia等语言后，最终选定Go为主力开发语言。
2025年启动本项目：基于自研股票指标函数体系，搭建财经短视频自动化流水线，将量化指标可视化内容批量生成视频并适配抖音平台分发标准。
技术迭代上，初期采用fogleman/gg生成PNG图片序列，再由FFmpeg合成视频。经持续优化，现绝大部分素材渲染直接交由FFmpeg完成，仅在FFmpeg耗时过高、分辨率无法满足需求时，回退使用GG生成静态图片。整套系统已实现数据解析、图表渲染、视频合成一站式自动化。
二、业务功能
批量指标运算：批量读取量化数据，自动运算生成股票指标信号。
数据可视化渲染：支持FFmpeg滤镜实时绘图，兼容GG静态PNG绘图兜底方案。
短视频自动合成：按平台规范自动合成视频，适配抖音等主流短视频平台分辨率与码率要求。
全流程自动化调度：从数据到视频全链路自动化，支持持续产出可视化素材。
智能渲染链路切换：根据耗时、画质需求，自动选择最优渲染方案（FFmpeg主链路/GG兜底）。
三、技术栈
Go、FFmpeg、fogleman/gg、股票量化接口、自动化调度脚本
基于多模态与大模型的短视频智能分析 Agent 系统
针对短视频平台内容爆炸式增长带来的推荐精准度不足、用户理解粗粒度等问题，设计并实现一个融合多模态理解与大语言模型决策能力的智能 Agent 系统，实现视频内容自动分类与动态用户画像构建，支撑个性化推荐、广告投放与内容治理等核心业务。
技术栈：Python, YOLOv8, Whisper, Qwen-VL, LangChain, Kafka, Flink, Milvus, Neo4j, FastAPI, Docker, Kubernetes
触发式自动讲解系统-循位智讲
场景触发式讲解系统是一款面向线下实体场景的自动语音导览应用。它通过持续追踪移动设备的 GPS 位置，在设备靠近预设的讲解点位时自动播放对应的语音讲解音频，无需人工干预，实现"人走到哪里，讲解跟到哪里"的沉浸式导览体验。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服