业务和功能介绍
米画师图片爬虫是一款针对mihuashi.com平台的专业作品采集工具。该平台为插画师和漫画创作者提供作品展示服务，爬虫通过逆向分析其WASM签名算法，成功破解API鉴权机制，可自动获取平台上的各类原创作品。支持多种采集模式，包括关键词精准搜索、按标签分类筛选、按点赞热度或时间排序等功能，能够批量自动下载高清插画、漫画、立绘等作品图片到本地指定目录，方便用户离线浏览和收藏管理。
项目实现
技术架构采用Python加Node.js双进程协作模式。Python主进程使用requests库负责发起HTTP请求、解析API响应数据以及流式下载图片文件，通过模拟真实Chrome浏览器的请求头信息绕过平台检测。Node.js子进程专门加载sign.wasm文件执行签名算法，为每个API请求动态生成M-S和M-T鉴权头字段。两个进程之间通过stdin和stdout管道进行实时通信，实现签名服务的高效调用。整个系统支持分页自动采集、已下载文件智能跳过以及请求频率控制等实用功能。
示例图片视频
相似推荐
代码缺陷检测系统-代码缺陷检测系统
环境及框架:
SpringBoot+Spring+Maven+SpringMvc+Mybatis+Auth+Redis+Solr+Postgres+Mysql+Mongodb
项目描述:
这个项目代码缺陷检测系统是由多个项目合并开发的一款高效、全面的工具，主要用于分析和检测代码中的漏洞和缺陷以及项目开源率。系统集成了 Sonarqube 工具，能够准确分析代码文件中的问题行数，并统计 Bug、异味和重复率等指标。同时，系统还集成了美国漏洞库（如 nvd、
cve、 cpe_match），开源项目库(GitLab、GitHub、Apache)、组件(Nuget、Maven)实现与项目的
集成检测，提升代码安全性和质量。
责任描述:
1、负责安装配置 Sonarqube 工具，通过 GitHub 下载源码项目并搭建源码框架
2、开发 27 种语言的技术指标语言插件，包括 JAVA、Python、C、C#、TypeScript、Go、
Groovy、T-SQL、PL/SQL 等，对源代码进行改动并集成到 Sonarqube 系统中
3、利用自动化浏览器插件 FirefoxDrive 对 Sonarqube 数据进行翻译处理
4、编写各种编程语言的被测件，确保系统能够准确扫描到各种语言的漏洞
5、设计定时任务，定期更新漏洞库数据，并引用钉钉机器人在群里通知任务进度
6、编撰指标偏移表和用户手册，提供系统操作指引和技术支持
7、查看 Bug 管理系统分配的问题，确保问题及时修复
8、迁移和维护 dm 数据库和 Postgres 数据库的数据，保障数据完整性和安全性
9、与前端团队联调接口，开发用户管理模块，提升用户体验和系统功能性
事件合约信号管理与对比系统
立项背景与目标：面向事件合约交易场景，解决平台历史信号与实盘记录分散、对账困难、盈亏口径不一致的问题，建立一套可持续沉淀交易数据的管理系统，支持实时查看本金、胜率、盈亏和对比结果，帮助用户评估策略在真实交易环境中的效果。
软件功能与核心模块：系统包含平台对接、实盘记录管理、对比展示、统计报表与本金管理四大模块。平台对接负责登录并抓取历史信号；实盘记录支持手动新增、编辑、删除和导入；对比展示负责将平台信号与实盘成交按时间、币种、方向匹配；统计模块负责展示当前本金、实盘/回测胜率、净盈亏、历史金额区间等核心指标。
业务流程与功能路径：用户先配置初始本金并登录平台，再同步历史信号；随后在左侧维护实盘交易记录，系统自动计算盈亏并刷新统计；筛选条件可按时间、币种、结果缩小范围，右侧同步显示平台信号与对比结果；当新增、修改或删除实盘记录时，系统会自动重算当前本金、胜率及各类统计，形成完整的“登录—同步—录入—对比—统计”闭环。
华为杯研究生数学建模大赛-抗胰腺癌候选药物的优化建模
据 2020 年国际癌症研究机构（IARC）调查的最新数据显示，乳腺癌在全球女性癌症中的发病率为 24.2%，位居女性癌症的首位。在药物研发领域，利用预测模型对能够拮抗 ERα 活性的化合物进行筛选的方法受到广泛的关注，本文通过建立回归与分类预测模型，对化合物的生物活性和 ADMET 性质做多目标优化求解
AI 数据采集与智能报表系统-据智报 - 商业情报自动采集分析平台
本项目为外贸/电商企业打造了一套从数据采集到智能报表生成的自动化系统。立项背景是传统商业情报收集依赖人工浏览多个数据源（海关、1688、行业报告、社交媒体），耗时且容易遗漏关键信息。
核心功能模块：
1. 多源自动采集：对接海关总署公开数据、1688供应商报价、行业研报、社交媒体舆情等4大类数据源，每日自动增量抓取。
2. AI智能处理：大模型对采集内容进行分类（贸易数据/价格监控/行业研究/竞品动态）、可信度评分、关键信息抽取。
3. 竞品价格监控：7天价格走势图自动生成，突变超过阈值自动预警推送。
4. 舆情情感分析：社交媒体评论AI情感分类（正面/中性/负面），负面比例超10%触发告警。
5. 日报自动生成：每日9:00自动汇总前一天数据，生成结构化报表并通过飞书/Slack推送。
6. 可视化仪表盘：ECharts 图表展示KPI趋势、数据来源分布、处理统计等。
数据处理及爬虫
1. 支持上传 Excel 文件或输入网址，自动抓取网页数据并解析为结构化表格
2. 内置京东、淘宝、拼多多、1688、抖音、小红书等平台专用爬虫，自动识别平台并提取数据
3. 提供自定义 CSS 选择器功能，支持用户手动指定提取规则
4. 自动分析数据特征，推荐合适的可视化图表类型
5. 一键生成 HTML 数据分析报告，支持预览和下载
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服