程序聚合软件案例 # 基于python的工作流调度系统

# 基于python的工作流调度系统

2026-01-07 16:54:20

行业：企业内部管理、大数据

载体：框架或代码包

技术：Python、Ansible

业务和功能介绍

原有基于crontab工作流如下痛点：
- 没有版本化
- 运维过程黑盒，没有可视化和代码化
- 大量crontab任务，难以管理
- SQL依赖关系，难以处理

核心功能
- ETL部署：部署大数据分析任务
- 数据清理：定期清理日志和临时文件
- 数据备份：自动化数据备份流程
- 同时适配airflow、海豚两种调度工具

业务流程
- 填写工作流yml，支持SQL、shell、远程shell三种任务，同时支持开发、内部测试、线上测试、生产4种环境
- 生成任务依赖
- 打包生成升级包
- 部署到airflow环境

项目实现

项目全部通过AI实现，包括代码和文档，分成3部分
- 工作流依赖处理，同一工作流内，SQL自行解析并生成依赖，而shell、远程shell任务需要手动指定依赖；还支持天任务依赖某小时任务等跨工作流的内容依赖
- airflow处理，生成公共的airflow调度python脚本，识别工作流依赖并创建airflow调度所需要的工作流和任务，支持任意自定义的环境变量，如此可非常方便的区分开发、测试环境
- 海豚调度器处理，支持通过API的方式上传资源中心文件和创建任务并关联资源中心文件，实现版本化的处理

遇到的难点
- 海豚调度器，只有一个调度器要同时支持测试和生产环境，故资源中心的文件也拆分成两个目录，同时进行文件关联
- airflow调度，任意环境变量传递，通过python脚本动态解析airflow的json变量并自动导出环境变量

示例图片视频

原码天空

1天前活跃

方向：后端-Go、后端-C、

交付率：100.00%

查看主页

相似推荐

骏语科技自助打印系统-后台管理系统

1、自助打印后端管理系统 2、运营数据导航 3、订单管理系统与会员管理系统 4、终端设备管理系统 5、设备故障管理系统：远程控制、故障预警 6、远程设备控制系统：设备重启、停启用等 7、设备区域管理系统 8、代理商、运营商管理系统 9、数据报表系统、分润系统等 10、多用户权限管路 11、大屏数据孪生系统等

骏语科技自助打印系统-骏语科技小程序

1、骏语自助打印系统配套前段微信小程序 2、基于终端设备的基础打印机功能，定制文档打印，相片冲印功能 3、具备远程打印下单功能，自动计费。 4、支持word/excel/ppt/wps/pdf/图片等文件打印 5、具备AI功能实现AI翻译、AI换背景、AI问答 6、具备AI客服功能 8、具备会员管理系统 9、具备订单管理系统 10、具备钱包功能 11、对接微信支付 12、具备广告展示系统

外卖电商-外卖

此项目为实习需要,实现了商家处理管理订单,外卖骑手接单,客户小程序下单查看订单等一系列服务于外卖场景的业务。分为客户端和管理端两个端。主体流程为客户可以在微信小程序进行外卖的下单、查看订单、取消订单等一系列操作,商家可以接受、备餐、取消订单、导出订单等一系列操作

低代码开发平台-toga页面设计

BeeWare 的 Toga 布局助手是一款专为 BeeWare Toga 框架设计的可视化布局工具。它允许开发者通过直观的拖拽界面快速构建 Python 原生应用的 UI 结构，并自动生成符合 Toga 规范的 Python 源代码。该工具支持实时预览、属性编辑以及多窗口设计，极大地简化了 Toga 应用的界面开发流程。

数据报表自动生成系统

1.背景：每日需要重复下载各部门营销数据、计算净利润等，人工操作耗时需要2-3小时，需要解决低效等问题。 2.目标：自动获取数据，计算结果，自动生成报表发送给部门负责人。 3.主要功能：数据采集、数据清洗、数据计算、报表生成。 4.主要技术：影刀RPA+python。