数据精炼

这是一个自动化的情报抓取与数据精炼节点。系统从无结构化或半结构化的网页/文本中，提取出高价值的商业、安全或金融情报，并标准化输出以赚取“利润”（系统内的虚拟概念）
主要功能模块：

全局智能发现 (Global Web Crawl)：用户输入关键词，系统通过 DuckDuckGo 隐蔽抓取相关 URL。
多级过滤与精炼管道 (Refinery Pipeline)：
阶段 1：Crawl4AI & 本地 AI 萃取。使用本地部署的 Ollama (deepseek-r1:7b) 对网页进行初步清洗，提取含有高价值情报的原话（如金融交易、安全漏洞等）。如果判定为低价值，则直接丢弃，节省成本。
阶段 2：云端 AI 精炼 (DeepSeek/OpenAI)。使用云端大模型对过滤后的内容进行高级处理：清除无关的个人隐私(PII)、统一金融货币单位为美元，并提取出高级别的“概念标签”(Smart Keywords)、“关键洞察”(Key Insights) 和“建议行动”(Recommended Actions)，最后严格格式化为 JSON。
API 密钥池管理 (Cloud Keys Pool)：系统可添加多个 DeepSeek/OpenAI API Key，系统会自动验证 Key 的有效性和获取余额，并在运行时自动轮询活跃的 Key。Key 在内存中是加密存储的。
实时看板与硬件监控 (Dashboard)：前端实时展示系统的 CPU、RAM、独显 (GPU) 负载、网卡通道状态，以及总请求数、精炼成功量、总利润等经营数据。
全局风控 (Circuit Breaker)：提供一键“紧急熔断”开关，切断所有新任务的接收，用于风控防御。
自动化报告：精炼成功后，自动在桌面生成 M2M_AI_Report_YYYYMMDD.docx 报告。

依赖自动修复
后端启动时自带了一个“自愈机制”(Self-Healing)。它会检查 httpx, fastapi, crawl4ai 等库是否存在，如果缺失会自动调用 pip install 进行安装，甚至会自动下载 Playwright 的 Chromium 内核。
前后端实时通讯：
前端通过原生的 new EventSource("http://localhost:8000/api/dashboard/stream") 订阅后端数据。
后端的 dashboard_stream 生成器使用 asyncio.sleep(1) 每秒广播一次当前硬件状态、任务进度和业务指标。
Crawl4AI 智能萃取：
后端利用 Crawl4AI 结合 RegexChunking 对长网页分块，并定义了严格的 LocalIntelligenceSchema 让本地模型判断 contains_high_value。这一步大幅过滤了互联网噪音。
提示词工程 (Prompt Engineering)：
在请求 DeepSeek/OpenAI 时，系统给予了 system 角色极其严苛的指令 和 ，强制要求脱敏 PII 且必须只输出不带 markdown 块的纯 JSON。
动态端口分配：
如果 8000 端口被占用，find_available_port 会自动寻找可用端口，避免 Errno 10048 报错。启动脚本 start.bat 一键拉起前后端