LinkedIn数据爬虫

2026-03-24 19:30:16

行业：广告营销

载体：爬虫/脚本

技术：Python、SQLAlchemy、Selenium WebDriver

业务和功能介绍

项目描述：为一家注塑的公司寻找海外的AI制造业客户，爬取用户、公司信息组合成邮件地址，发送营销邮件
1、通过web页面进行爬虫任务定义：具体的爬取的行业、公司规模、城市信息等
2、爬取公司的名称、行业、规模、linkedin公司链接、员工链接等信息
3、爬取员工名称、个性签名、地点、职位、关于等信息
4、爬虫程序支持按公司进行任务拆分支持爬取失败重试
5、增加鼠标模拟、人为等待行为和指纹浏览器等避免反爬检测

项目实现

项目使用Python+asyncio+Playwright+Camoufox+MySQL
1. Web API 服务
FastAPI: 现代化的异步 Web 框架
任务管理: 提交、查询、取消爬虫任务
账号管理: LinkedIn 账号配置和状态监控
浏览器管理: 可视化管理所有浏览器实例
健康检查: 系统状态和服务可用性监控
2. 任务调度器
APScheduler: 企业级任务调度框架
智能调度: 每 10 秒检查任务，基于权重分配
子任务管理: 公司采集后自动创建员工采集子任务
状态监控: 实时监控任务执行状态
故障恢复: 自动检测失败任务并重新调度
3. 爬虫引擎
Camoufox: 反检测浏览器（默认），模拟真实用户行为
Playwright: 标准浏览器（备选）
LinkedIn 自动化: 模拟用户操作进行数据采集
反检测: 智能等待、随机延迟、人类输入模拟
邮箱验证码: 自动从 Gmail/QQ 邮箱获取验证码
4. 数据存储
MySQL: 结构化数据存储（任务、结果、账号）
Redis: 高性能缓存、分布式锁、任务状态
异步 ORM: SQLAlchemy 2.0 异步操作支持

示例图片视频

河源吴彦祖

30天前活跃

方向：后端-Java、

交付率：100.00%

查看主页

相似推荐

热泵系统 3D 可视化演示软件

立项背景：传统热泵教学多依靠二维图纸与静态实物，学生难以直观理解制冷、制热工况下设备内部介质流动、管路切换的动态过程，教学成本高，设备操作存在安全风险。项目目标：开发一套交互式 3D 热泵系统演示软件，用于暖通专业教学与设备原理展示。软件核心功能：包含系统介绍、制冷模式仿真、制热模式仿真、退出系统四大模块。在 3D 场景中完整还原热泵机组、压缩机、换热器、水泵、阀门与管路结构；支持一键切换制冷 / 制热两种工作模式，可视化展示管路介质流动动画；配套 UI 菜单，可分步查看系统原理，帮助使用者理解热泵冷热循环的工作流程。

国家电网配电全景监测系统

1、业务方向：国网山东配电业务方向 2、涉及相关设备：10kV线路、配电变压器、及下属的用户表计 3、数据相关：线路、变压器的停电送电与电能质量的监测 4、数据的接入与送出 5、问题数据工单自动生成测略、停电送电研判算法

48v-12v双向数字电源

1.支持48v-12v双向能量转换 2.采用buck-boost开关拓扑 3.电压纹波控制在200mV以内 4.使用电压下垂限流 5.具备电池均浮充管理功能 6.具备输入输出保护功能 7.使用pid增量+前置反馈调节，稳压精度满足要求 8.北向协议采用Modbus-RTU，可通过上位机控制输出电压和限流点

某数据指标管理-数据指标管理系统

1、立项背景：当前能源月度数据分散，人工汇总效率低，缺乏统一管理载体；内外系统数据孤岛明显，跨平台数据对接困难。为规范能源数据采集、统计与对外共享，打通业务管理链路，建设本能源数据管理系统，支撑能源业务数字化管控与第三方平台安全数据交互。 2、业务流程：业务人员登录系统，按权限录入每月能源指标数据；管理员维护指标、账号与接口权限；系统自动完成数据统计；可按需将数据通过标准化接口推送至第三方平台，全程留痕，权限隔离，保障数据安全。 3、功能描述：系统支持能源月度数据录入与统计分析，可完成接口、权限及录入指标配置管理，对外提供标准化数据接口，实现业务与管理模式协同，达成与第三方平台安全互联、数据互通共享的建设目标。

工业能耗优化与设备运维平台-智能能耗

面向工业企业的能耗诊断与设备运维平台，用于把能源采集、异常诊断、节能方案、工单执行和效果核验连接成可追溯的业务闭环。系统提供综合能耗看板、设备与能流关系、基线分析、策略库、告警、节能方案对比、ROI测算、工单执行和M&V效果验证，帮助企业从发现能耗问题进入方案审批、执行与效益跟踪。