程序聚合 软件案例 ETL工具-EData

ETL工具-EData

2025-10-21 23:22:44
行业:大数据
载体:网站、爬虫/脚本
技术:PHP

业务和功能介绍

1. 支持mysql/pg/es/api作为输入输出,以支持数据库数据统计/迁移/异构
2. 支持中间件逻辑,支持数据库筛选、聚合操作,对数据做清洗、统计
3. 支持分页参数、自定义分页+排序传输,支持,全程通过http传输
4. 支持预览处理、打印数据,方便测试
5. 支持后台UI创建规则脚本,并手动执行

项目实现

1. 基于纯脚本+BS实现数据流转功能
2. 由我完成所有功能开发、调试、部署、上线
3. 对数据校验是难点,开发校验脚本进行数据前后比对测试,如果有统计,进行count、sum统计校对,但细到每行数据、每个字段是否无异,需要进行期望单测才行

示例图片视频


悟吉塔
5天前活跃
方向: 后端-Go、后端-PHP、
交付率:100.00%
相似推荐
B2B 食材供应链平台-极简美食街
针对中小餐饮企业面临的采购分散,价格波动大,配送效率低,货源难追溯四大痛点,打造一站式 B2B 食材供应链平台,直连农场/供应商与餐饮商家,通过数字化解决方案降低采购成本,提升配送时效。 身份验证:登录成功使用 jwt 生成 token 并返回给用户,使用过滤器在接口前验证前端传递的 token 图片上传:将图片存储在与数据库实体相关联的文件夹中,同时记录在数据库的对应资源表中 管理员后台: 数据看板:展示销售额,订单数等数据,可以选择时间区间 供应商管理:添加供应商,需提供资质证书,经营许可证 商户管理:发布商品,查找订单,查看操作日志等 供应商小程序: 首页:获取今日销售情况和订单数据,获取待处理的订单列表 商品的上下架,置顶,订单接单,发货,信息管理,查看商品历史销售趋势等功能 商户小程序:获取分类商品,搜素商品,购买,收藏,收货,取消订单等
家政项目(O2O)-好糠在家
1. 服务管理:包括服务分类、服务项、服务上架、下架、服务、服务人员,使用canal 服务同步到ES;2. 服务搜索:使用 Elasticsearch 实现服务搜索,支持关键字搜索、分类搜索、关键字自动补全自定义词库等功能。提供统一的搜索接口供前端调用; 3. 热门服务优化方案:通过搜索过程中用户点击服务项,存入 Redis 中zset 类型中进行排序,统计出热门服务,将热门服务存放 Redis 中 String 结构中,并且解决了 redis 的热key 问题;4. 历史订单模块:历史订单微服务使用 xxl-job,定时完成历史订单迁移,完成冷热分离;5. 直播模块:采用腾讯云直播,使用 websocket+rabbitMQ 处理弹幕;6. 优惠券模块:负责优惠券秒杀模块核心业务,防止超买超卖,Sentinel 限流
B2B电子商务SAAS平台
近年来国家持续推进数字经济与智慧治理建设,出台多项政策推动采购领域的信息化、智能化升级。比如相关政策提出要加快人工智能、大数据等新兴技术在供应链领域的集成应用,推进 “互联网+监管” 机制建设。在此背景下,政府采购作为公共管理的重要环节,亟需摆脱传统模式束缚,云采链项目正是响应这一战略,助力政府管理和社会治理模式创新的重要探索。 云计算、大数据、区块链、人工智能等技术的飞速发展,为采购全流程数字化提供了可能。云采链项目抓住技术机遇,早期便融入云计算技术搭建 SaaS 服务模式,后续又引入区块链技术保障采购过程留痕可追溯,还与高校合作探索政府采购领域的大语言模型应用,借助技术手段实现采购信息收集、线上评审、大数据分析等功能,突破了传统采购的技术瓶颈。
酒店拍摄 - 项目管理系统
酒店拍摄项目管理系统,是一套面向酒店行业视觉内容制作全流程的数字化管理平台,旨在提升拍摄项目执行效率、规范素材资产管理和优化客户协作体验。系统主要包括以下核心功能模块。包括项目管理、脚本库管理、素材库管理、客户管理、统计分析、系统管理等功能。
易维宝 - 智能业务应用运维管理平台
易维宝智能业务应用运维管理平台是一款简单易用的运维管理系统。规范管理运维团队以及服务流程,保障业务系统可靠运行。为IT管理者提供一套简单、直观、有效的方法,掌握全局业务的运行状态和健康水平,了解动态变化趋势,快速查明问题源头,降低运营成本和运营风险。 监控系统内建了首页、业务服务、资源监控、告警管理、巡检报告、日志管理、运维档案、系统管理功能
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服