程序聚合 软件案例 数据采集工具-京东达人视频数据采集工具

数据采集工具-京东达人视频数据采集工具

行业:电商
载体:爬虫/脚本
技术:Python、ASP.NET

业务和功能介绍

1. 用于采集京东视频中的达人账号下面的相关产品数据
2. 采集后的数据以产品SKU为名创建文件夹,并爬取相关的封面图片和视频
3. 使用内嵌浏览器,能够缓存登录状态,无需每次启动都重新登录
4. 主界面使用winform开发,该项目也包含了控制台版本

项目实现

1. 用于采集京东视频中的达人账号下面的相关产品数据
2. 采集后的数据以产品SKU为名创建文件夹,并爬取相关的封面图片和视频
3. 使用内嵌浏览器,能够缓存登录状态,无需每次启动都重新登录
4. 主界面使用winform开发,该项目也包含了控制台版本

示例图片视频


深圳市深汕特别合作区魔力柯基软件开发工作室(个体工商户)
30天前活跃
交付率:100.00%
相似推荐
一款ios和安卓双端的社交聊天软件
一款全自研的即时通讯社交应用,不依赖环信、声网等商用 SDK,IM 与音视频能力均为自建。项目包含三大模块:Flutter移动客户端(iOS/安卓)、Spring Boot 后端(Netty 独立 WebSocket 长连接 + REST 接口 + MySQL/Redis)和 Vue3 + Element Plus 管理后台。 业务上以即时通讯为核心,向外延伸社交内容与通话能力。已实现的功能包括: 通讯:手机号/自定义 IM 号注册登录(短信验证码)、单聊群聊(文字、表情、语音、图片)、消息回执与离线消息、好友申请与通讯录、建群与群管理; 社交内容:朋友圈动态(点赞、评论)、探索广场发帖、关注、热搜、搜索; 音视频通话:WebRTC + 自建 coturn TURN 服务,iOS 走 CallKit + VoIP 推送,安卓走全屏来电 + 极光厂商通道,解决锁屏/杀进程收不到来电的问题; 安全与合规:拉黑、举报、敏感词过滤、内容安全审核、协议文案管理; 运营后台:用户/群组/消息/举报管理、数据统计,以及短信、APNs 推送、语音转写等第三方服务的可视化配置,保存即时生效。
Java 应用集群迁移与 Elasticsearch 数据同步
一、背景与目标 客户因业务调整,需要将现有生产环境的网站服务及数据完整迁移至新服务器。涉及约 10 个 Java 网络应用程序及配套的搜索、消息队列服务。目标是在保证数据完整性的前提下,实现业务的平滑割接,确保迁移后服务可正常访问。 二、功能模块 1.全量服务迁移: 涵盖 Elasticsearch 7.8.0 搜索引擎、Nginx 反向代理、RabbitMQ 消息队列及 Redis 缓存服务的部署与配置还原。 2.Java 应用部署: 迁移并配置 10 个左右的 Java 后端应用,恢复其 JVM 参数及配置文件。 3.数据一致性保障: 执行数据库与索引数据的导出导入操作,确保新旧环境数据一致。
CentOS7 Docker 基础运行环境搭建与组件部署
客户需要在单台 CentOS 7 服务器上快速构建一套标准化的后端开发与运行环境。目标是替代繁琐的手动安装过程,通过容器化技术统一部署 MySQL、MongoDB、Redis、Kafka、Zookeeper、MinIO 等中间件,并预置 GoLang 开发环境,确保环境的一致性和可移植性。 功能模块: 1.中间件容器化: 集成 MySQL 5.7+、MongoDB 6.0+、Redis 7.0+、Kafka 及 Zookeeper 等核心组件,通过 Docker Compose 进行统一编排启动。 2.对象存储服务: 部署 MinIO 对象存储,用于非结构化数据的存储测试。 3.环境初始化: 编写初始化脚本,自动完成各组件的用户名密码配置(如 mysql/mongodb/redis/minio 统一认证),并安装 GoLang 1.18 及 Git 工具链,交付即可用的基础镜像环境。
MyDiary
海外版 Android 应用独立开发实践,基于 Kotlin + Jetpack Compose + MVVM 架构,覆盖音乐播放器与隐私日记两款产品。音乐播放器支持本地音频扫描、后台播放、通知/媒体会话控制、播放队列、进度控制、循环模式及状态持久化;隐私日记支持富文本编辑、图片/表情/标签、多字体主题、时间线浏览、本地密码锁、云同步备份恢复与数据导出,注重海外用户隐私合规、流畅交互与数据安全保障。负责需求分析、UI/UX、架构设计、音视频/数据存储/同步模块实现及持续迭代。
半熟类社交平台
重逢的创建初衷是提供一个平台,为用户维护个人的半熟社交人际关系,辅助用户整合非日常交流好友资源,以此为用户提供可能需要的人际关系价值。项目的主要通过iOS和Android两个主流平台APP提供服务,后端通过ECS中PHP提供平台服务,并通过Python提供一定的数据分析服务。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服