程序聚合 软件案例 # 基于python的工作流调度系统

# 基于python的工作流调度系统

2026-01-07 16:54:20
行业:企业内部管理、大数据
载体:框架或代码包
技术:Python、Ansible

业务和功能介绍

原有基于crontab工作流如下痛点:
- 没有版本化
- 运维过程黑盒,没有可视化和代码化
- 大量crontab任务,难以管理
- SQL依赖关系,难以处理

核心功能
- ETL部署:部署大数据分析任务
- 数据清理:定期清理日志和临时文件
- 数据备份:自动化数据备份流程
- 同时适配airflow、海豚两种调度工具

业务流程
- 填写工作流yml,支持SQL、shell、远程shell三种任务,同时支持开发、内部测试、线上测试、生产4种环境
- 生成任务依赖
- 打包生成升级包
- 部署到airflow环境

项目实现

项目全部通过AI实现,包括代码和文档,分成3部分
- 工作流依赖处理,同一工作流内,SQL自行解析并生成依赖,而shell、远程shell任务需要手动指定依赖;还支持天任务依赖某小时任务等跨工作流的内容依赖
- airflow处理,生成公共的airflow调度python脚本,识别工作流依赖并创建airflow调度所需要的工作流和任务,支持任意自定义的环境变量,如此可非常方便的区分开发、测试环境
- 海豚调度器处理,支持通过API的方式上传资源中心文件和创建任务并关联资源中心文件,实现版本化的处理

遇到的难点
- 海豚调度器,只有一个调度器要同时支持测试和生产环境,故资源中心的文件也拆分成两个目录,同时进行文件关联
- airflow调度,任意环境变量传递,通过python脚本动态解析airflow的json变量并自动导出环境变量

示例图片视频


原码天空
30天前活跃
方向: 后端-Go、后端-C、
交付率:100.00%
相似推荐
答题卡识别评分
一套基于计算机视觉和深度学习的答题卡自动评分系统,实现降低阅卷成本,无需专用设备;提高阅卷效率,实现自动识别和即时评分;支持灵活的答题卡格式;提供完整的成绩管理和统计分析功能。 用户管理模块支持管理员、教师、学生三种角色,采用JWT认证登录。答题卡识别模块可以上传答题卡图片,自动识别学号、选择题答案和主观题区域。自动评分模块实现选择题自动比对答案并计分,主观题提取作答区域供人工批阅。成绩管理模块提供成绩录入、查询、修改和删除功能。试卷管理模块支持创建试卷、设置标准答案和管理试卷状态。统计分析模块提供成绩分布、及格率、平均分等统计报表。答题卡生成模块可以根据试卷信息生成标准答题卡模板。 答题卡识别评分流程: 首先用户上传答题卡图片,系统对图像进行预处理,包括灰度转换和二值化。然后通过投影切割算法定位题目区域。接下来并行处理三个任务:使用CNN模型识别学号,通过区域比对识别选择题答案,以及提取主观题作答区域。选择题部分自动比对标准答案并计分,主观题部分提取的区域供教师人工批阅。最后将所有成绩汇总并存储到数据库。
多商户商城-镖师养车
1、项目主体为app、小程序客户端,PC后台,商户端app,围绕畜牧服务聚合周边商户入驻。 2、通过商户入驻给商户分配微信、支付宝子商户号。 3、项目实现入驻商户在线app、小程序支付、线下主扫、被扫支付,支付完成后微信、支付宝的分账。
商场智慧零售TV大屏购物系统
面向商场场景的TV大屏端智慧零售系统,立项目标是提升商场数字化购物体验和用户转化率。核心功能模块包括:大屏端下单系统、购物车管理、超超豆积分抵扣、即刻自提服务、活动专区展示、用户分层运营。配套微信小程序实现多端数据同步,用户可在手机端浏览商品、TV大屏端完成下单支付。业务流程:用户扫码登录→浏览活动专区→加购商品→选择超超豆抵扣→确认自提时间→完成支付→到店自提
Word文档批量文本替换工具
Word文档批量文本替换工具,主要功能: 遍历指定目录,查找所有.docx文件 批量替换文本内容(支持配置多组替换规则) 保留原格式(字体、颜色、大小等样式) 处理复杂元素: 正文段落 表格 页眉页脚 文本框(VML旧格式 + DrawingML新格式)
弈路千年围棋知识对弈多平台科普小程序-弈路千年
业务和功能介绍 立项背景与目标 围棋作为国家级非物质文化遗产,承载着东方哲学与战略智慧,但当前传统传播形式单一,年轻受众参与门槛高,线上平台也多偏向硬核竞技或娱乐化,缺乏兼顾文化科普、互动对弈与社区交流的综合性服务载体。基于此痛点,本项目打造「弈路千年」围棋文化爱好者交流科普平台,旨在构建集文化科普、在线对弈、教学学习、社区互动于一体的非遗活化生态:一方面以轻量化、趣味化的形式拆解围棋千年文化,降低传统棋艺的学习门槛;另一方面为围棋爱好者搭建多端适配的交流阵地,实现文化传承、棋艺提升与用户社交的双向赋能,助力围棋文化的年轻化传播与可持续发展。 核心功能模块 围棋文化科普模块:涵盖围棋历史溯源、规则讲解、棋具介绍、名家棋事、经典棋局解析等内容,搭配IP形象「弈心」的引导式讲解,以图文、互动流程图等形式呈现,让用户沉浸式了解围棋文化内涵。 在线对弈互动模块:提供人机对弈、人人对弈多种模式,支持实时棋盘交互、AI辅助分析与对局记录保存,适配不同水平用户的对弈需求,还原真实围棋对局体验。 教学与学习模块:整合分级教学视频、经典棋谱资料、实战技巧解析,为用户提供系统的围棋学习路径,帮助用户从入门到进阶逐步提升棋力。 棋友社区交流模块:搭建棋友论坛、对局分享、兴趣群组功能,用户可交流心得、分享棋局、组队约战,构建围棋爱好者的专属交流阵地。 多端适配模块:支持小程序、网站/PC端、Pad端多端访问,实现用户数据、对局记录的跨端同步,适配不同场景的使用需求。 业务流程路径 用户进入平台后,可通过首页推荐快速触达围棋科普内容,或进入教学模块开启系统学习;也可直接进入对弈模块,选择人机/人人对局进行实战练习;对局后可将棋谱分享至社区交流心得,或在论坛与棋友互动、参与话题讨论、约战组队;平台通过内容运营与社区互动沉淀用户,形成「文化认知-学习提升-对弈实践-社区交流」的完整链路闭环,助力围棋文化传播与用户粘性提升。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服