业务和功能介绍
vLLM-Ascend ：昇腾 NPU 上的大模型推理部署
前言：近两年大语言模型的推理需求爆发式增长，推理引擎成为了AI工程落地的核心基础设施。举个例子，爆发式增长的推理需求相当于一群车过马路，传统的推理引擎就是“单车道马路”，容易拥堵。而vLLM是业界领先的开源推理框架，相当于“十车道高速公路”，让AI的响应更快更迅速、成本也更低。
为了支持昇腾AI芯片生态，vLLM社区在去年年底推出了vLLM-Ascend硬件插件。就像是为昇腾芯片量身定制的“适配器”，巴适得很。截至 2025 年 12 月，vLLM-Ascend 已支持 Llama、Qwen、ChatGLM、Mixtral 等主流架构，并具备 Expert Parallelism（EP）、多模态、Embedding 模型等高级能力
前言：近两年大语言模型的推理需求爆发式增长，推理引擎成为了AI工程落地的核心基础设施。举个例子，爆发式增长的推理需求相当于一群车过马路，传统的推理引擎就是“单车道马路”，容易拥堵。而vLLM是业界领先的开源推理框架，相当于“十车道高速公路”，让AI的响应更快更迅速、成本也更低。
为了支持昇腾AI芯片生态，vLLM社区在去年年底推出了vLLM-Ascend硬件插件。就像是为昇腾芯片量身定制的“适配器”，巴适得很。截至 2025 年 12 月，vLLM-Ascend 已支持 Llama、Qwen、ChatGLM、Mixtral 等主流架构，并具备 Expert Parallelism（EP）、多模态、Embedding 模型等高级能力
项目实现
1、硬件
华为 Atlas 系列 NPU设备，例如：
Atlas 800I A2/A3 (推理)
Atlas A2/A3 (训练)
2、软件
操作系统：Linux（推荐 EulerOS、CentOS 或 Ubuntu）
Python 版本：>=3.9, <3.12（本文使用 Python 3.11）
CANN 版本：>=8.2.rc1（请根据你的 NPU 驱动版本安装对应 CANN）
PyTorch & torch-npu：需使用 Ascend 官方提供的版本
3、安装 vLLM 与 vLLM-Ascend
3.1、设置 pip 源（加速）
3.2 克隆并安装 vLLM
3.3 克隆并安装 vLLM-Ascend
3.4 验证插件是否加载成功
4、例如下载 Qwen2.5-7B-Instruct 模型
华为 Atlas 系列 NPU设备，例如：
Atlas 800I A2/A3 (推理)
Atlas A2/A3 (训练)
2、软件
操作系统：Linux（推荐 EulerOS、CentOS 或 Ubuntu）
Python 版本：>=3.9, <3.12（本文使用 Python 3.11）
CANN 版本：>=8.2.rc1（请根据你的 NPU 驱动版本安装对应 CANN）
PyTorch & torch-npu：需使用 Ascend 官方提供的版本
3、安装 vLLM 与 vLLM-Ascend
3.1、设置 pip 源（加速）
3.2 克隆并安装 vLLM
3.3 克隆并安装 vLLM-Ascend
3.4 验证插件是否加载成功
4、例如下载 Qwen2.5-7B-Instruct 模型
示例图片视频
相似推荐
skill插拔驱动多元Agent
### 多 Agent 智能协作
6 个专业 Agent（Sisyphus、Code Analyzer、Programmer、Refactor Master、Test Expert、Librarian）通过 4 种协作模式（Sequential、Parallel、Debate、Main-with-Helpers）智能协作。基于意图识别自动选择 Agent，并行执行提升效率，自动综合多专家意见。
### 深度代码理解
集成 LSP（Language Server Protocol）、AST（抽象语法树）分析和语义代码搜索。支持 Python、JavaScript、TypeScript 等主流语言，提供类型推导、引用分析、基于向量的语义检索。自动识别代码结构和依赖关系。
### 智能编排系统
7 种编排策略（Simple、ReAct、Multi-Agent、Parallel、Conditional、Workflow、Sisyphus）自动选择最优方案。ReAct 模式支持推理-行动循环，条件分支实现动态决策，并行执行提升性能。
### 完整工具链
34+ 专业工具，包含项目理解（文档发现、结构分析、代码地图）、代码搜索（文本、正则、语义、AST）、LSP 工具（诊断、跳转、引用、重命名）、文件操作（读写、批量操作、补丁）、Git 工具（状态、差异、日志）。
### 智能记忆系统
分层存储架构（会话级、用户级、全局级），对话树结构支持多分支，智能压缩和摘要，相关性检索。多轮对话保持上下文，记住用户偏好和习惯，跨会话知识复用。
### Skill 配置系统
14+ 预置技能，灵活的 Prompt 模板，工具和编排器配置，可扩展的技能定义。YAML 配置驱动，Jinja2 模板引擎，动态加载和热更新。
微信自动抢红包助手-快抢
基于Auto.js开发的微信自动抢红包脚本，通过监听系统通知实时响应红包消息，自动点击横幅进入聊天界面，并利用固定坐标快速点击红包和“开”按钮。脚本支持多次重试机制，确保红包被及时抢到，无需人工干预，极大提升抢红包成功率。
RPA的SAP BW运维监控-SAP
本项目旨在解决 SAP BW 系统运维中人工监控效率低、响应滞后、易遗漏异常的痛点，通过 RPA 机器人替代人工，实现对 SAP BW 数据加载、任务执行、系统状态的 7×24 小时自动化监控。
核心功能模块包括：
SAP BW 监控模块：RPA 自动登录 SAP 系统，定时检查 BW 进程、数据加载任务、系统日志及关键指标，识别任务失败、数据异常、系统告警等问题。
智能通知模块：当监控到异常时，RPA 触发微信消息推送，将异常详情、影响范围、建议处理措施实时推送给运维人员；同时可调用 Python 接口，通过电话语音或系统声音输出进行二次告警，确保关键问题不被遗漏。
辅助识别模块：集成 Python OCR 图片文字识别能力，自动解析 SAP BW 监控截图中的关键信息，补充到告警内容中，提升问题定位效率。
业务流程为：RPA 定时巡检→发现异常→触发多渠道告警→运维人员接收并处理→RPA 记录处理结果并归档，形成闭环运维监控体系，大幅降低人工成本，提升运维响应速度和系统稳定性。
tools box
针对用户需要多个软件处理图片文档的痛点，打造免费在线工具平台，无需安装即可使用，注重隐私保护。
图片工具（去水印、压缩、证件照、抠图）、实用工具（文档转换、屏幕录制、二维码、OCR识别）、AI助手（图片视频生成、写作翻译、旅行规划）。
访问网站→选择工具→上传文件→系统处理→预览结果→下载保存。浏览器端本地处理，无需注册，保护隐私安全。
军事agent-ugv_agents
在无人作战/军事仿真场景中，需智能体系统协调多无人平台（UAV、UGV、机器狗等）完成复杂任务。传统方案依赖人工指令与固定流程，难以应对动态任务和自然语言交互。本项目构建基于 LLM 的多 Agent 协同系统，实现自然语言驱动的任务规划、调度与执行。核心目标：支持自然语言任务输入并自动分解为可执行动作序列；多 Agent 协同（任务规划、调度、会议助手、状态检查等）；WebSocket/MQTT 双通道与上位机通信；通过 MCP 协议动态扩展工具能力；Docker 容器化部署，兼容 x86/ARM64。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服