业务和功能介绍
面向 C 端新能源车主的充电桩服务平台，接入社会公用充电桩，支持远程启停、附近空闲桩查找、路线规划、停车场开门等场景，覆盖北京、昆明、西安等多个城市。各地业务政策、运营商、费率差异较大，采用"一地一套"独立部署模式：各地自有 App 包、后台服务、数据库及服务器，完全隔离。
核心功能：
LBS 找桩导航：基于定位展示周边空闲充电桩，集成地图 SDK 做路线规划
远程启停充电：扫码 / 远程调用运营商接口启动、停止充电，实时拉取充电进度与费用
停车场联动：对接场站道闸，App 内一键开门，充电 + 停车闭环
订单与支付：计费规则（电费 + 服务费）本地化配置，订单落地 MySQL，Redis 缓存热点桩状态
核心功能：
LBS 找桩导航：基于定位展示周边空闲充电桩，集成地图 SDK 做路线规划
远程启停充电：扫码 / 远程调用运营商接口启动、停止充电，实时拉取充电进度与费用
停车场联动：对接场站道闸，App 内一键开门，充电 + 停车闭环
订单与支付：计费规则（电费 + 服务费）本地化配置，订单落地 MySQL，Redis 缓存热点桩状态
项目实现
1.多地系统定制开发与独立部署：针对北京、昆明、西安三地运营商差异，各自独立完成后台定制开发、App 打包发布及服务器端搭建，保证三地系统隔离、互不影响
2.日常运维与故障响应：承担三地系统日常维护，包括版本迭代发布、日志排查、异常监控，保障充电核心链路稳定
3.数据库优化：针对订单表、桩状态表做索引重构与慢 SQL 治理，引入 Redis 缓存桩实时状态，降低 MySQL 并发压力
4.技术文档与软著：输出三地部署文档、接口文档、运维手册；主导软件著作权材料整理与申报
5.新功能规划与迭代：参与产品需求评审，规划远程启停优化、会员 / 优惠券等新模块，推进版本迭代落地
6.代码重构与升级：对三地后台公共逻辑做抽取重构（在保持独立部署前提下复用核心模块），降低后续维护成本
2.日常运维与故障响应：承担三地系统日常维护，包括版本迭代发布、日志排查、异常监控，保障充电核心链路稳定
3.数据库优化：针对订单表、桩状态表做索引重构与慢 SQL 治理，引入 Redis 缓存桩实时状态，降低 MySQL 并发压力
4.技术文档与软著：输出三地部署文档、接口文档、运维手册；主导软件著作权材料整理与申报
5.新功能规划与迭代：参与产品需求评审，规划远程启停优化、会员 / 优惠券等新模块，推进版本迭代落地
6.代码重构与升级：对三地后台公共逻辑做抽取重构（在保持独立部署前提下复用核心模块），降低后续维护成本
示例图片视频
相似推荐
豆瓣电影短评爬取
立项背景和目标：为方便对公开电影短评数据做统计分析，开发本网页数据采集脚本，目标是获取豆瓣电影公开的用户短评内容，把评论、评分、评论时间等公开信息批量导出，用于数据分析练习，仅采集网页公开可见数据，不触碰用户隐私。软件功能、核心功能模块：基于 Python 开发，使用 requests 发送网络请求，BeautifulSoup4 解析网页 HTML 源码；实现分页遍历、网页解析、数据清洗模块；提取电影短评的用户名、星级评分、评论正文、发布时间；过滤无效空白内容，将采集完成的数据保存为 txt 格式文件。业务流程、功能路径：输入目标电影短评页面地址，脚本携带请求头访问网页，循环访问多页短评；解析页面提取目标字段，清洗整理数据；完成多页采集后，把全部结果写入本地 txt 文件，完成数据落地存储。
datart二开
datart是宜信开源BI达芬奇的2.0版本，打破常见BI的封闭，支持可插拔的数据源接入，建立标准的数据可视化开放平台。公司二开版本基于开源datart版本增加了多租户权限管理，优化图表、数据展示效率，增加数据清洗处理模块。其Visualization模块除了支持常见的报表外，支持权限可控的标准化交互能力，如筛选、钻取、联动、跳转、弹窗、分享、下载、发送等；很容易被整合、被内嵌至其他三方系统，承担数据可视化部分功能；支持接入Apache DolphinScheduler+Seatunnel实现数据的清洗整理工作。
国家法律知识库爬虫 · 法信 API 逆向
把国家法律法规原文搬进个人知识库：官方页面是加密参数的单页应用，正文还是动态加载，普通爬虫根本抓不到。目标是不碰页面解析，直接批量拿到法律全文，自动归档成可检索、可引用的结构化知识库，支持按时效性快速筛选和长期维护。
独立开发者「糊糊小樱」，软硬通吃工作室主理人。使用 Python 完成网站接口逆向：绕过前端加密参数，直接调用官方后端数据接口，成功收录二十二条国家法律原文，全部为法律效力级别，并按时效状态自动分为五类归档，最终生成支持双向链接的检索索引，形成可长期使用的个人法律知识库。
中台数据处理-智联招聘
智联招聘需要有简历数据呈现，以及相关关键词处理。主要为两个功能服务，1是提供一些搜索支持，将职位相关数据分词后存储在Es集群里。
2是为c端客户或者B端客户展示简历和职位，承托10万级QPS服务，对简历和职位数据进行预处理。
北京新发地网页信息爬取
一、立项背景和目标
北京新发地农产品批发市场作为全国交易规模最大的农产品专业批发市场，其官网每日发布大量蔬菜、水果等农产品的价格行情数据，涵盖品名、规格、产地、价格区间、发布日期等关键信息。这些价格行情数据分散在多个列表页面中，人工逐条复制品名、最低价、平均价、最高价、规格、产地、单位、发布日期等信息录入 Excel 表格工作量大、效率低下，且分页翻阅统计困难。本项目立项目标：基于 Playwright 自动化浏览器抓取北京新发地农产品批发市场官网多页价格行情数据，自动解析字段并写入 Excel 文件，实现农产品价格数据批量结构化导出，方便后续价格趋势分析、产地分布统计与市场行情归档，同时掌握动态网页分页爬取、XPath 层级定位、openpyxl 表格持久化存储的完整爬虫开发流程。
二、软件功能、核心功能模块介绍
三大核心功能模块
（1）Excel 表格初始化模块：使用 openpyxl 库新建工作簿，创建名为“新发地价格行情”工作表，预先写入表头【一级分类、二级分类、品名、最低价、平均价、最高价、规格、产地、单位、发布日期】，智能设置各列宽度确保数据完整显示，定义全局列表用于临时存储抓取到的结构化数据，为后续数据落地做准备。
（2）浏览器自动化页面交互模块：调用 Playwright 启动本地 Chromium 浏览器，配置可视化运行窗口、操作减速防反爬；自动访问北京新发地农产品批发市场官网价格行情栏目，支持按分类筛选（蔬菜、水果等），自动识别总页数并循环执行分页加载逻辑，每页设置合理等待时间，保证后端动态渲染的价格列表完整加载。
（3）数据解析与表格写入模块：通过层级 XPath 定位每一条价格行情数据 DOM 容器，循环提取一级分类、二级分类、品名、最低价、平均价、最高价、规格、产地、单位、发布日期；增加智能字段清洗逻辑，过滤异常数据和空值，逐条将字段追加写入 Excel 工作表，提供数据去重机制避免重复记录，最终完整保存为本地表格文件。
三、业务流程、功能路径描述
（1）程序初始化：创建 Excel 文件、新建工作表并设置表头及列宽；配置本地 Chromium 浏览器启动路径与反爬兼容参数；提示用户选择需要爬取的农产品分类（默认全部分类）；
（2）自动化访问目标网站：打开北京新发地农产品批发市场官网价格行情页面，等待页面完全加载后，通过 XPath 定位分类筛选下拉菜单，根据用户选择模拟点击切换分类，等待列表数据刷新；
（3）分页循环抓取：自动解析总页数，循环执行分页爬取，每一页等待 3-5 秒确保列表数据 JS 渲染完成；定位所有价格行情条目父级容器，获取当前页条目数量；
（4）逐条解析字段：遍历每条条目 DOM 节点，分别提取一级分类、二级分类、品名、最低价、平均价、最高价、规格、产地、单位、发布日期，清洗字符串去除空白字符和无
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服