数据精炼
这是一个自动化的情报抓取与数据精炼节点。系统从无结构化或半结构化的网页/文本中,提取出高价值的商业、安全或金融情报,并标准化输出以赚取“利润”(系统内的虚拟概念)
主要功能模块:
全局智能发现 (Global Web Crawl):用户输入关键词,系统通过 DuckDuckGo 隐蔽抓取相关 URL。
多级过滤与精炼管道 (Refinery Pipeline):
阶段 1:Crawl4AI & 本地 AI 萃取。使用本地部署的 Ollama (deepseek-r1:7b) 对网页进行初步清洗,提取含有高价值情报的原话(如金融交易、安全漏洞等)。如果判定为低价值,则直接丢弃,节省成本。
阶段 2:云端 AI 精炼 (DeepSeek/OpenAI)。使用云端大模型对过滤后的内容进行高级处理:清除无关的个人隐私(PII)、统一金融货币单位为美元,并提取出高级别的“概念标签”(Smart Keywords)、“关键洞察”(Key Insights) 和“建议行动”(Recommended Actions),最后严格格式化为 JSON。
API 密钥池管理 (Cloud Keys Pool):系统可添加多个 DeepSeek/OpenAI API Key,系统会自动验证 Key 的有效性和获取余额,并在运行时自动轮询活跃的 Key。Key 在内存中是加密存储的。
实时看板与硬件监控 (Dashboard):前端实时展示系统的 CPU、RAM、独显 (GPU) 负载、网卡通道状态,以及总请求数、精炼成功量、总利润等经营数据。
全局风控 (Circuit Breaker):提供一键“紧急熔断”开关,切断所有新任务的接收,用于风控防御。
自动化报告:精炼成功后,自动在桌面生成 M2M_AI_Report_YYYYMMDD.docx 报告。
大数据