业务和功能介绍
背景：
在营销域中，存在大量活动，每次活动的上线都必须有很多后台配置需要达到修改后实时生效的目的，这些配置有很多特性，比如交互单一，表单多，配置单一，可复用性强等。
虽然可以利用 apollo 来实现。但是这种方案的弊端很明显，首先在 apollo 中配置 json 数据虽然能达到快速上线的目的，但是不支持可视化，容易出现格式错误；活动规则配置字符很容易超过 apollo单 key 的最大字符上限；其次 apollo 的用户对象是研发同学，而非活动运营这样既不安全也不合规。
基于以上原因，亟待开发一套通用可视化配置系统，能支持业务多维度资源配置，实现通过定义表单描述语言或者拖拽组件即可实现新页面的创建。
活动配置中心系统具有以下优点：
- 定义了一套表单描述语法，整套界面支持可拖拽，操作便捷，支持多种数据结构，通用性强
- 支持配置数据数据同步，可以与业务方数据库表数据一一对应、实现了配置的读写分离
- 高性能 配置读取本地内存缓存，利用 Zookeeper 做实时更新，实时性强
- 高可用 sdk 支持配置持久化到本地文件快照，保证即使 server 不可用时业务端也能读取文件快照对外提供服务
在营销域中，存在大量活动，每次活动的上线都必须有很多后台配置需要达到修改后实时生效的目的，这些配置有很多特性，比如交互单一，表单多，配置单一，可复用性强等。
虽然可以利用 apollo 来实现。但是这种方案的弊端很明显，首先在 apollo 中配置 json 数据虽然能达到快速上线的目的，但是不支持可视化，容易出现格式错误；活动规则配置字符很容易超过 apollo单 key 的最大字符上限；其次 apollo 的用户对象是研发同学，而非活动运营这样既不安全也不合规。
基于以上原因，亟待开发一套通用可视化配置系统，能支持业务多维度资源配置，实现通过定义表单描述语言或者拖拽组件即可实现新页面的创建。
活动配置中心系统具有以下优点：
- 定义了一套表单描述语法，整套界面支持可拖拽，操作便捷，支持多种数据结构，通用性强
- 支持配置数据数据同步，可以与业务方数据库表数据一一对应、实现了配置的读写分离
- 高性能 配置读取本地内存缓存，利用 Zookeeper 做实时更新，实时性强
- 高可用 sdk 支持配置持久化到本地文件快照，保证即使 server 不可用时业务端也能读取文件快照对外提供服务
项目实现
主要分为后台配置模块和业务端实时配置读取两大块
后台部分：
流程一：RD 根据表单描述语言（DSL ）将需要配置的内容生成表单描述信息（这里简称 Schema 集合），然后通过后端表单结构控制器后保存到数据库。
流程二：后端表单结构控制器通过读取 Schema 信息返回给前端，前端渲染成表单配置页面（运营使用）。
流程三：运营操作配置页面数据，可以进行 crud 操作，然后通过后端配置数据控制器持久化到数据库
业务端 sdk 获取实时配置数据：
非同步场景：
sdk与 zookeeper 保持长连接，ZK 主要用来将配置更新通知到 SDK ，运营修改配置后 push到 zk，zk
后台部分：
流程一：RD 根据表单描述语言（DSL ）将需要配置的内容生成表单描述信息（这里简称 Schema 集合），然后通过后端表单结构控制器后保存到数据库。
流程二：后端表单结构控制器通过读取 Schema 信息返回给前端，前端渲染成表单配置页面（运营使用）。
流程三：运营操作配置页面数据，可以进行 crud 操作，然后通过后端配置数据控制器持久化到数据库
业务端 sdk 获取实时配置数据：
非同步场景：
sdk与 zookeeper 保持长连接，ZK 主要用来将配置更新通知到 SDK ，运营修改配置后 push到 zk，zk
示例图片视频
相似推荐
网络视频网站数据爬虫
一、核心功能：基础数据采集与处理
核心功能是爬虫的 “基石”，主要目标是精准、稳定地获取视频平台的核心公开数据，并完成初步清洗，为后续分析或应用提供原料。
1. 目标数据采集（核心能力）
爬虫可针对主流视频平台（如 B 站、抖音、YouTube、腾讯视频等），定向采集以下几类关键数据，具体采集范围需根据平台接口限制或页面结构调整：
数据类别 具体采集内容 应用场景举例
视频基础信息 视频 ID、标题、发布时间、时长、封面图 URL、播放量、点赞量、收藏量、评论数、分享数 视频热度分析、内容分类统计
创作者信息 创作者 ID、昵称、头像 URL、粉丝数、关注数、发布视频总数、账号认证类型（如 “UP 主”） 创作者画像分析、达人筛选
视频内容数据 视频播放地址（需区分 “可下载”“仅在线播放” 权限）、字幕文本（公开字幕）、标签 / 分类 视频内容检索、字幕关键词分析
互动数据 评论内容（用户名、评论时间、评论点赞数、回复链）、弹幕内容（发送时间、弹幕文本） 用户情感分析、热门话题提取
2. 数据清洗与标准化
采集到的原始数据常存在格式混乱（如时间戳格式不统一）、冗余（如重复评论）、无效值（如播放量为 “--”）等问题，爬虫需内置处理逻辑：
格式统一：将不同平台的时间戳（如 “2024-05-20”“1684567890”）统一转为标准时间格式，播放量（如 “1.2 万”“12000”）统一转为数值型；
冗余 / 无效数据过滤：删除重复的评论、弹幕，过滤掉 “无意义文本”（如纯表情评论）或无效字段（如封面图 URL 失效）；
关键词提取：基于 NLP（自然语言处理）工具（如 jieba、NLTK），从视频标题、评论、字幕中提取核心关键词（如 “AI 生成”“美食教程”），为后续分类打标签。
3. 数据存储与导出
采集并清洗后的数据需持久化存储，支持多种存储方式以适配不同需求：
本地存储：适合小规模数据，如 Excel（.xlsx）、CSV（逗号分隔文件，便于 Excel/Python 读取）、JSON（轻量格式，适合程序调用）；
数据库存储：适合大规模、高并发采集场景，如关系型数据库（MySQL、PostgreSQL，用于结构化数据如视频基础信息）、非关系型数据库（MongoDB，用于非结构化数据如评论、弹幕）；
数据导出：支持按需导出为可视化工具兼容格式（如 PowerBI、Tableau 可读取的 CSV/Excel），或 API 接口格式（供其他系统调用）。
二、扩展功能：提升采集效率与场景适配性
扩展功能是在核心能力基础上，针对 “高并发、反爬对抗、多场景需求” 设计的进阶能力，决定爬虫的稳定性与实用性。
1. 反爬对抗与稳定性优化
主流视频平台均设有反爬机制（如 IP 封锁、Cookie 验证、验证码、接口签名），爬虫需通过技术手段适配，确保采集过程
供应链驾驶舱-远洋数字领航可视化项目
远洋领航数字化驾驶舱项目是位于金融供应链集团开发的一款项目，该项目打通了工厂、商户、客户等三个体系进行开发的数字化驾驶舱，通过前端驾驶舱展示项目的所有的数据展示，用户量两、用户交易量、交易率、已购率、复购率、付费情况等一系列指标，数据展示全国各地的数据，上海、浙江、北京、广东等多个北上广地区的数据
报刊采集系统-数据采集
主导报刊采集项目，成功采集了162种报刊的内容及PDF。负责数据处理，采用Scrapy和BS4技术栈，设计并实施了三通道架构以优化分布式数据采集。有效应对反爬机制，通过登录验证和cookie验证确保数据的准确性和完整性。利用pandas进行数据分析，结合正则表达式、机器学习（数据标注）和AI大模型进行深入解析，提升了数据处理的效率和准确性。
房产小程序-购房通
此小程序是一个房产信息平台，致力于为广大购房者提供高效实时的成都房产市场相关动态信息，并提供相关的各种便利的工具：航拍VR看房、查日照、算噪音、产业测评；落户、公积金、首付房贷等。目前平台拥有上百万用户访问，日均浏览量上百万次。
公司内部管理系统
系统旨在为管理、销售、财务、律师、行政、业务支持等人员提供数据查询、报表导出、项目成本管理、诉讼管理、资产管理、用户运营管理等支撑功能
系统主要有以下核心功能：
数据分析：为管理人员、销售人员提供各类业务数据的查询、报表导出
项目成本：为财务、销售人员提供项目经费、活动成本等管理和操作
诉讼管理：为律师提供诉讼相关的流程管理
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服