LinkedIn数据爬虫

2026-03-24 19:30:16

行业：广告营销

载体：爬虫/脚本

技术：Python、SQLAlchemy、Selenium WebDriver

业务和功能介绍

项目描述：为一家注塑的公司寻找海外的AI制造业客户，爬取用户、公司信息组合成邮件地址，发送营销邮件
1、通过web页面进行爬虫任务定义：具体的爬取的行业、公司规模、城市信息等
2、爬取公司的名称、行业、规模、linkedin公司链接、员工链接等信息
3、爬取员工名称、个性签名、地点、职位、关于等信息
4、爬虫程序支持按公司进行任务拆分支持爬取失败重试
5、增加鼠标模拟、人为等待行为和指纹浏览器等避免反爬检测

项目实现

项目使用Python+asyncio+Playwright+Camoufox+MySQL
1. Web API 服务
FastAPI: 现代化的异步 Web 框架
任务管理: 提交、查询、取消爬虫任务
账号管理: LinkedIn 账号配置和状态监控
浏览器管理: 可视化管理所有浏览器实例
健康检查: 系统状态和服务可用性监控
2. 任务调度器
APScheduler: 企业级任务调度框架
智能调度: 每 10 秒检查任务，基于权重分配
子任务管理: 公司采集后自动创建员工采集子任务
状态监控: 实时监控任务执行状态
故障恢复: 自动检测失败任务并重新调度
3. 爬虫引擎
Camoufox: 反检测浏览器（默认），模拟真实用户行为
Playwright: 标准浏览器（备选）
LinkedIn 自动化: 模拟用户操作进行数据采集
反检测: 智能等待、随机延迟、人类输入模拟
邮箱验证码: 自动从 Gmail/QQ 邮箱获取验证码
4. 数据存储
MySQL: 结构化数据存储（任务、结果、账号）
Redis: 高性能缓存、分布式锁、任务状态
异步 ORM: SQLAlchemy 2.0 异步操作支持

示例图片视频

河源吴彦祖

30天前活跃

方向：后端-Java、

交付率：100.00%

查看主页

相似推荐

南网在线智能问答机器人-问答机器人

1.2.项目目标构建一个集智能体全生命周期管理、场景灵活配置、知识集中管理、数据一体化运营与分析于一体的智能体运营管理平台，实现运营工作的敏捷化、智能化、精细化和安全可控，显著提升用户体验和公司运营效率。具体可量化目标： 1.运营效率提升：赋能运营人员自主完成超过90%的日常配置工作，将智能体场景迭代周期从传统的2周缩短至3天以内。 2.知识管理效率：实现知识库更新的即时生效，确保知识的一致性和准确性。 3.数据分析效能：运营数据统计分析效率提升70%，支持数据驱动的决策优化。 4.安全与合规：严格遵循网络安全等级保护二级标准，通过数据传输加密、访问控制及安全审计等防护体系，全方位保障用户数据安全与系统稳定运行。 1.3.项目范围与边界 1.业务范围：本项目涉及营销域，主要聚焦南网在线智能体的运营管理环节，涵盖电费查询、业扩报装等核心场景的配置与流程修改优化，不涉及前端APP集成开发、中台接口改造及大模型训练等环节。

综合能源管理系统

【介绍】 EMS 作为微电网的“智慧大脑”，是一套集高度智能化、卓越安全性、强大扩展性与优异性能于一体的自主可控型能碳监控与优化分析系统，不仅实现了对能源的全方位精细化监控和耗能设备异常状态的科学预警，更通过深度融合微电网内的能源流、信息流与碳流，有力推动了节能降碳目标的落地，积极响应国家双碳战略部署。在技术架构上，开创性地融合AI与云边端一体化设计，全面依托国产化软硬件平台，能够精准协同市电与光伏、风电、储能等新能源的互补共融，无缝对接单站独立运行、云端集中监管及多站协同控制等多种模式，并基于Paddle-TS 实现负荷趋势预测，从而显著提升能源经济性，助力企业降本增效、引领绿色转型。目前，该产品已成功加入百度AI 生态产品体系和华为生态产品体系，进一步彰显其行业认可度与生态兼容优势。【主要功能】 1、Dashboard 2、能源分析 3、EHS环境监测 4、分布式光伏 5、分布式储能 6、碳资产 7、电力运维 8、设备管理 9、视频管理 10、AI负荷预测与AI能源智能调节

E充网充电APP

面向 C 端新能源车主的充电桩服务平台，接入社会公用充电桩，支持远程启停、附近空闲桩查找、路线规划、停车场开门等场景，覆盖北京、昆明、西安等多个城市。各地业务政策、运营商、费率差异较大，采用"一地一套"独立部署模式：各地自有 App 包、后台服务、数据库及服务器，完全隔离。核心功能： LBS 找桩导航：基于定位展示周边空闲充电桩，集成地图 SDK 做路线规划远程启停充电：扫码 / 远程调用运营商接口启动、停止充电，实时拉取充电进度与费用停车场联动：对接场站道闸，App 内一键开门，充电 + 停车闭环订单与支付：计费规则（电费 + 服务费）本地化配置，订单落地 MySQL，Redis 缓存热点桩状态

新能源充电设施管理系统

负责新能源设施的系统管理模块开发，实现设施信息的统一录入与状态监控；参与政府补贴申请审核流程的系统搭建，优化审核逻辑与数据校验机制；协助完成新能源设施审核相关功能的开发与测试，确保流程合规性与高效性；对接企业信息数据接口，实现用户信息与系统数据的同步与管理；承担系统日常数据维护与分析工作，提升数据准确性与系统运行效率；完成与第三方系统的接口对接，保障数据交互的稳定性与安全性。

**省碳排放页面

通过本项目实施，一是实现90%以上省调主力火电机组参数实时接入与监测，填补火电碳排放在线监测分析的功能空白；二是构建覆盖调峰能力评估、发电出力受阻分析、电热协同控制的全链条技术支撑体系，提升电网调节灵活性；三是实现技术监督在线化、智能化管理，将报表处理效率从天级缩短至小时级；四是建立全省火电机组碳排放精准核算体系，为省级电力碳足迹因子分时分区测算提供可靠支撑。