业务和功能介绍
基于 Kaggle 真实数据集，使用机器学习完整复现「数据探查→预处理→建模调参→评估优化」的工业界落地流程，最终实现房屋销售价格的精准预测，将最终的预测结果误差控制在2w美金以内，达到模型稳定预测
项目实现
模型选择与调参:
核心模型：LGBMRegressor（LightGBM）
核心优势：
训练速度快，精准度表现尚佳，比传统XGBoost更省资源；
泛化能力强：自带 L1/L2 正则化、特征采样等抗过拟合机制；
对缺失值鲁棒：无需额外处理缺失值（但本项目为了流程规范，仍做了统一填充）；
支持大规模数据：内存占用低，适合多特征、大数据量场景；
项目背景与目标:
背景：
房屋价格受「物理属性（面积、卧室数）、区位因素（邻里环境）、配套设施（车库、泳池）」等79个特征影响，是典型的多特征回归问题。本项目基于 Kaggle 公开数据集，模拟房产中介/金融机构的房价评估场景，通过机器学习模型学习特征与价格的映射关系。
目标：
给定1460条房屋的79个特征，构建回归模型预测房屋销售价格，要求：
预测误差（MAE）控制在20000美元以内；
模型泛化能力强，避免过拟合；
流程可复现、可迁移到其他回归场景。
关键问题识别：
缺失值严重：部分特征缺失率极高（如PoolQC缺失率99.5%），需针对性填充；
特征类型混杂：数值型与分类型特征并存，需分开预处理；
特征量级差异大：如“面积（ hundreds of sqft）”与“卧室数（1-5）”，需标准化消除影 响；
目标变量分布：房屋价格呈右偏分布，模型需适配连续值预测。
核心技术方案：
数据加载
数据探查
数据预处理
数据集拆分
模型训练+网格搜索调参
模型评估
结果分析与优化
核心模型：LGBMRegressor（LightGBM）
核心优势：
训练速度快，精准度表现尚佳，比传统XGBoost更省资源；
泛化能力强：自带 L1/L2 正则化、特征采样等抗过拟合机制；
对缺失值鲁棒：无需额外处理缺失值（但本项目为了流程规范，仍做了统一填充）；
支持大规模数据：内存占用低，适合多特征、大数据量场景；
项目背景与目标:
背景：
房屋价格受「物理属性（面积、卧室数）、区位因素（邻里环境）、配套设施（车库、泳池）」等79个特征影响，是典型的多特征回归问题。本项目基于 Kaggle 公开数据集，模拟房产中介/金融机构的房价评估场景，通过机器学习模型学习特征与价格的映射关系。
目标：
给定1460条房屋的79个特征，构建回归模型预测房屋销售价格，要求：
预测误差（MAE）控制在20000美元以内；
模型泛化能力强，避免过拟合；
流程可复现、可迁移到其他回归场景。
关键问题识别：
缺失值严重：部分特征缺失率极高（如PoolQC缺失率99.5%），需针对性填充；
特征类型混杂：数值型与分类型特征并存，需分开预处理；
特征量级差异大：如“面积（ hundreds of sqft）”与“卧室数（1-5）”，需标准化消除影 响；
目标变量分布：房屋价格呈右偏分布，模型需适配连续值预测。
核心技术方案：
数据加载
数据探查
数据预处理
数据集拆分
模型训练+网格搜索调参
模型评估
结果分析与优化
示例图片视频
相似推荐
远程监控系统-灰鸽子
一、立项背景与目标
针对企业普遍存在信息泄露、员工工作效率低、终端行为难管控、核心数据外发风险高、人员异动难预警等痛点，推出灰鸽子企业安全管理系统，以主控被控隔离为安全底座，实现终端操作全可视、行为全可控、数据全可溯，提升企业信息安全水平与办公效率，降低数据泄密与人员流失风险。
二、软件功能及核心模块
远程桌面与屏幕监控：支持 1080P + 超清远程桌面，适配 4K/8K 分辨率，屏幕墙默认 6 路，可扩至 32 路，实现一对多、多对多实时监控与远程控制。
文件反泄密与外设管控：禁止文件跨软件 / 浏览器外发，U 盘白名单管控，加密 U 盘限定访问，记录拷入 / 拷出与文件全操作日志。
行为审计与录像：后台 24 小时屏幕 / 视频录制，留存网址访问、搜索关键词、聊天内容与键盘操作，全程可追溯。
人员与权限管理：离职风险预警，多管理员协同，主账号分配子管理员权限，支持批量文件分发与语音沟通。
移动与兼容能力：穿透 Windows 防火墙，安卓手机可远程查看屏幕，支持隐蔽运行、免提醒、自动升级。
三、业务流程与功能路径
部署上线：管理员安装经理主控端→生成被控端安装包→批量部署至员工终端，实现自动上线、隐蔽运行。
权限配置：主账号创建子管理员→分配监控范围与功能权限→开启屏幕墙、文件管控、审计等策略灰鸽子。
日常管控：通过屏幕墙实时监看→调取操作日志与录像→管控 U 盘与外发行为→触发离职预警并处置。
协同运维：多管理员分级管控、权限共享 / 回收，批量文件分发，远程协助与语音沟通，提升管理效率灰鸽子。
文档处理系统
ScanTools 是一套基于 Python 的文档处理系统，包含2个核心模块：
1、scantool: 文档敏感信息扫描工具，基于敏感规则对终端上各类办公文档进行内容检测，识别其中敏感信息，结果提供脱敏和快照功能
2、docsearch: 本地文档全文检索工具，用于办公终端上文件名以及文件内容查找功能。
网络设备策略智能管理平台
当前痛点:
- ❌ 网络设备策略管理混乱，存在大量冗余、冲突策略
- ❌ 多厂商设备管理界面不统一，操作繁琐易错
- ❌ 缺乏直观的网络拓扑展示，故障定位困难
- ❌ 策略变更缺乏规范流程，存在安全合规风险
解决方案
- ✅ **统一策略管理**：支持Cisco、华为、H3C等主流厂商设备
- ✅ **智能冗余检测**：自动识别并清理重复、冲突策略
- ✅ **拓扑可视化**：图形化展示全网设备连接关系
- ✅ **规范化流程**：策略变更审批、执行、审计全流程管理
ctf靶场搭建-杂项靶场
支持常见杂项题型训练：Base64/十六进制/ASCII等多层编码解码、图片隐写分析、压缩包密码破解、流量包简单分析、文件头修复与格式还原，可通过编写Python脚本自动化完成数据提取、flag识别与批量处理操作。
靶场侧重实战化训练，帮助使用者掌握文件分析、数据处理与脚本解题能力，适合信息安全入门与CTF基础练习。
物联网信息安全管理系统
1. 立项背景与目标
1.1 立项背景
连接数爆发与风险激增： 随着 5G、NB-IoT 技术的普及，物联网连接数已超越人口数。海量设备接入导致网络攻击面扩大，僵尸网络、DDoS 攻击、电信诈骗（利用物联网卡）等安全事件频发。
监管合规压力： 工信部及网信办多次发布通知（如《关于加强物联网卡安全管理的通知》），要求运营商落实物联网卡实名登记、机卡绑定、访问限制等安全措施，防止物联网卡流入非法渠道。
现网管理痛点： 当前运营商对物联网设备的管理存在“盲区”，难以实时感知设备异常行为（如静默卡突然激活、位置异常跳变、访问恶意域名），缺乏统一的安全监管手段。
1.2 项目目标
全域资产可视： 实现全国范围内物联网卡（ICCID/IMSI/MSISDN）与设备（IMEI）的 100% 实名关联与状态可视。
异常行为实时感知： 基于信令与流量日志，利用大数据与 AI 技术，秒级识别设备异常访问、机卡分离、高危端口通信等行为。
闭环处置能力： 建立“监测 - 预警 - 处置 - 反馈”的安全闭环，支持对风险卡片进行自动停机、限速或限制访问。
合规审计达标： 满足监管部门对物联网卡全生命周期安全管理的要求，提供可追溯的审计报表。
2. 关键功能与核心功能模块介绍
系统采用**“大数据流处理 + 规则引擎 + 威胁情报”**的技术架构，核心分为五大模块：
2.1 物联网资产全生命周期管理模块
功能描述： 管理物联网卡与设备的基础信息及状态。
核心能力：
实名信息库： 存储卡号、机主信息、行业应用类型（如车联网、智能水表）。
机卡绑定管理： 记录 IMEI（设备）与 IMSI（卡）的绑定关系，检测机卡分离行为。
状态监控： 实时监控卡片状态（激活、停机、沉默、注销）。
生命周期追踪： 记录开卡、激活、停机、复机、销户的全流程日志。
2.2 多源数据采集与预处理模块
功能描述： 负责从运营商核心网、业务平台获取海量数据。
核心能力：
信令数据采集： 采集 4G/5G 网络信令数据（附着、去附着、位置更新）。
流量日志采集： 采集 DPI（深度包检测）日志，提取访问域名、IP、端口、协议类型。
终端日志采集： 通过 Agent 或网关采集设备运行状态、登录日志。
数据清洗： 对海量日志进行去重、格式化、敏感信息（如用户隐私）脱敏处理。
2.3 安全行为分析与威胁检测模块（核心 AI 引擎）
功能描述： 系统的“大脑”，判断设备是否安全。
核心能力：
机卡分离检测： 比对实时信令中的 IMEI 与绑定库，发现换设备使用行为。
异常流量分析： 识别非业务时段大流量、高频访问、访问恶意域名/IP。
位置异常检测： 识别设备位置在短时间内发生不可能位移（如 1 小时内跨省）。
威胁情报匹配： 对接外部威胁情报库，匹配已知的僵尸网络 C&C 服务器地址。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服