数据精炼

2026-06-29 17:15:27
行业:大数据
载体:爬虫/脚本、网站
技术:Python、FastAPI、React、Crawlera

业务和功能介绍

这是一个自动化的情报抓取与数据精炼节点。系统从无结构化或半结构化的网页/文本中,提取出高价值的商业、安全或金融情报,并标准化输出以赚取“利润”(系统内的虚拟概念)
主要功能模块:

全局智能发现 (Global Web Crawl):用户输入关键词,系统通过 DuckDuckGo 隐蔽抓取相关 URL。
多级过滤与精炼管道 (Refinery Pipeline):
阶段 1:Crawl4AI & 本地 AI 萃取。使用本地部署的 Ollama (deepseek-r1:7b) 对网页进行初步清洗,提取含有高价值情报的原话(如金融交易、安全漏洞等)。如果判定为低价值,则直接丢弃,节省成本。
阶段 2:云端 AI 精炼 (DeepSeek/OpenAI)。使用云端大模型对过滤后的内容进行高级处理:清除无关的个人隐私(PII)、统一金融货币单位为美元,并提取出高级别的“概念标签”(Smart Keywords)、“关键洞察”(Key Insights) 和“建议行动”(Recommended Actions),最后严格格式化为 JSON。
API 密钥池管理 (Cloud Keys Pool):系统可添加多个 DeepSeek/OpenAI API Key,系统会自动验证 Key 的有效性和获取余额,并在运行时自动轮询活跃的 Key。Key 在内存中是加密存储的。
实时看板与硬件监控 (Dashboard):前端实时展示系统的 CPU、RAM、独显 (GPU) 负载、网卡通道状态,以及总请求数、精炼成功量、总利润等经营数据。
全局风控 (Circuit Breaker):提供一键“紧急熔断”开关,切断所有新任务的接收,用于风控防御。
自动化报告:精炼成功后,自动在桌面生成 M2M_AI_Report_YYYYMMDD.docx 报告。

项目实现

依赖自动修复
后端启动时自带了一个“自愈机制”(Self-Healing)。它会检查 httpx, fastapi, crawl4ai 等库是否存在,如果缺失会自动调用 pip install 进行安装,甚至会自动下载 Playwright 的 Chromium 内核。
前后端实时通讯:
前端通过原生的 new EventSource("http://localhost:8000/api/dashboard/stream") 订阅后端数据。
后端的 dashboard_stream 生成器使用 asyncio.sleep(1) 每秒广播一次当前硬件状态、任务进度和业务指标。
Crawl4AI 智能萃取:
后端利用 Crawl4AI 结合 RegexChunking 对长网页分块,并定义了严格的 LocalIntelligenceSchema 让本地模型判断 contains_high_value。这一步大幅过滤了互联网噪音。
提示词工程 (Prompt Engineering):
在请求 DeepSeek/OpenAI 时,系统给予了 system 角色极其严苛的指令 ,强制要求脱敏 PII 且必须只输出不带 markdown 块的纯 JSON。
动态端口分配:
如果 8000 端口被占用,find_available_port 会自动寻找可用端口,避免 Errno 10048 报错。启动脚本 start.bat 一键拉起前后端

示例图片视频


晓小
30天前活跃
方向: 测试-测试、
交付率:100.00%
相似推荐
某政府高标准农业展示平台
主要功能界面说明 1 系统登录 系统提供统一的身份认证登录界面。左侧为系统宣传展示区,展示卫星遥感影像分析、作物健康监测、土壤墒情评估等核心功能介绍;右侧为登录表单区,包含用户名、登录密码和验证码三个输入项,用户通过验证码校验后登录系统。登录界面采用半透明毛玻璃效果卡片设计,背景为航拍农田实景,整体风格简洁专业。 2 高标准农田 GIS 系统 系统主界面采用三栏式布局:左侧为图层控制面板,包含卫星影像、建设项目(2024年/2025年高标项目)、基础地理数据(村界、乡镇边界、县界、村级行政区、天地图底图及注记)等可折叠图层树;中间为主地图视图区,基于天地图卫星影像作为底图,叠加显示行政边界、耕地、林地、水域、房屋建筑、道路等矢量地物数据;右上角为地图工具栏,提供地物识别(点选查询属性)、卷帘对比、距离测量、面积测量和清除测量结果等功能。 系统支持图例面板展示土地利用分类的颜色编码规则(涵盖耕地、林地、水域、房屋建筑、大棚、道路等25类地物要素),支持缩放控件和比例尺显示,便于用户了解当前地图显示范围与实际地理距离的对应关系。 3 种植业遥感监测 系统针对公安县种植业提供多维遥感监测能力。左侧导航支持切换"长势监测"“问题管理”“撂荒监测”“非粮化监测”"农田管护"等多个功能子模块。地图区域支持按作物类型(全部、水稻、大豆、玉米、莲藕)进行分类筛选显示,支持按村庄(如肖家咀村)进行区域筛选。 统计面板实时展示监测区域数、监测点数、播种总面积和作物类型数量等关键指标,并以环形图形式展示苗情分类统计(一类苗、二类苗、三类苗、四类苗)的占比分布。作物分布统计以环形图和柱状图展示各作物的种植面积及占比。系统还内置专家分析模块,根据遥感监测数据自动生成作物长势评估文字报告,为田间管理提供决策建议。 4 水产养殖分布 系统以 GIS 地图为载体,直观展示区域内水产养殖的地理分布情况。左侧浮动面板以饼图形式统计展示池塘养殖(两类)、网箱养殖、水面养殖和大水面养殖共五种养殖类型的面积数据。地图区域通过不同颜色区分各村庄/社区的养殖分布,并在重点养殖区域以红星标记进行突出标注。系统支持底图样式切换(矢量图/影像图/地形图),支持导出养殖台账数据。 5 农田智慧物联平台 平台接入多种物联网监测设备,提供农业生产环境的实时感知能力。首页统计面板展示设备总数、在线/离线状态,以及视频监测、气象监测、病虫害监测、墒情监测等各类设备数量。气象数据模块实时展示空气温度、湿度、风速、风向、降水量、光照强度等六项气象指标。 系统支持按监测点(如麻豪口镇民旺湖村)查看"四情"详细信息:墒情数据(土壤温度、湿度、pH值、EC值及氮磷钾含量)、气象数据、视频监控画面(含实时视频播放控制)。病虫害监测模块以折线图展示步甲、硬壳虫、金龟子、隐翅虫等主要虫害近半个月的趋势
农药二维码追溯SaaS平台-一物一码农药追溯防窜货SaaS
基于"一物一码"技术,为农药生产企业提供全链路追溯与渠道防窜货的一站式SaaS平台: 1. 追溯码管理:按产品/规格/批次批量生成追溯码(单批最高2万枚、累计7万+码包记录),支持码包txt/zip下载、扫码次数限制、段码、激活/锁定与质量检测,实现"一物一码、来源可查"; 2. 产品合规管理:产品/规格/批次信息维护,原药信息集中维护与复用,自定义标签字段(文本/图片/链接),满足农药追溯新规对原药、商标等信息的展示要求; 3. 渠道防窜货:经销商档案+发货记录与码段绑定,消费者扫码自动记录IP、微信昵称、定位地址,异常扫码自动标记窜货,形成窜货预警; 4. 微信端扫码查询:消费者/监管部门微信扫码即可查看产品批次、原药、生产等信息,支持旧码置换(产品损坏换新码、旧码作废); 5. SaaS多租户:公司信息自定义、数据隔离,多客户独立运营;累计扫码记录139万+。
子众茶链-小程序
参考sass产品,茶叶产业链一条龙服务,农户发布茶叶在首页上架自己的茶叶信息方便需求购买联系 厂家发布工厂服务方便需求方联系,类似于58同城,多模块配置区分。用户注册-发布需求-展示-联系 形成产业一条龙
小程序-云享耕共享田园
“云享耕”是一个互联网共享田园平台,用户可线上认领真实地块。既支持全托管、半托管、自耕等多种灵活模式,也可按月、季、年付费。平台提供按需加购的浇水、追肥等农事服务,并通过云端图文实时记录生长全过程。让都市人足不出户圆农耕梦,享有安全透明、从田间直供餐桌的专属私家田园生活。
村民积分系统
功能概览 村民端(公开浏览 + 个人中心) 无需登录即可浏览:村务公告、积分排行(总分/本月)、积分动态、积分细则 个人中心:姓名+身份证后4位登录,查看个人积分(兑换积分+荣誉积分)、积分明细、组内排名 兑换商城:积分兑换生活物资,村干部确认发放 扫码签到:线下活动扫码签到自动加分,现场拍照留证 年度清零:兑换积分每年1月10日自动清零,荣誉积分永久保留 管理后台 数据总览:全村积分统计、各组排行、库存预警、年度清零操作 村民管理:增删改查、按姓名/组别筛选、分页浏览 积分管理:单人/批量录入、审核(通过/拒绝)、撤回(超管) 积分规则:灵活配置积分事件和类别,村民端自动同步 签到管理:创建签到活动、生成二维码、查看签到名单和现场照片 兑换管理:兑换窗口开关、物资管理、发放确认 公告管理:富文本公告发布(支持图片+录音+TTS语音播报) 村民反馈:匿名/实名建议收集
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服