业务和功能介绍
公司推出AI眼镜等边缘设备，需要为设备提供实时语音交互能力。市面上存在多家AI服务提供商（OpenAI、阿里云、火山引擎等），但各家API协议不统一，且单一厂商存在可用性风险。目标是构建统一的AI能力聚合平台，屏蔽底层厂商差异，实现端到端低延迟（首句响应小于500ms）的多模态对话体验，支持千级并发设备连接，并为边缘设备赋能MCP工具调用能力，使AI具备文件系统、IoT设备、传感器等外部能力扩展。
多协议AI Provider统一抽象层：封装7种TTS提供商、3种ASR提供商、多种LLM提供商，通过统一接口加工厂模式实现业务层无感知厂商切换。
全链路流式处理架构：智能分句引擎按标点符号实时切割LLM输出，每个完整句子立即送TTS合成无需等待完整响应；Context级联取消机制确保用户打断时20ms内停止所有任务；定速音频发送避免设备缓冲区溢出。
MCP工具协议集成层：基于Eino框架实现MCP Host，支持全局工具（SSE协议）与设备专属工具（WebSocket协议）动态注册，打通LLM的Function Calling能力，使大模型可调用文件系统、IoT设备控制等外部工具，支持工具调用结果自动回注LLM实现多轮交互。
多传输层适配：支持WebSocket（控制与文本）、MQTT（信令通道）、UDP（低延迟音频流）混合协议，UDP音频传输采用AES-GCM加密加Nonce防重放，确保弱网环境下低延迟（小于50ms）与安全性。
对话状态机与会话管理：为每个设备创建独立ChatManager实例，封装ASRManager、LLMManager、TTSManager三大管理器，状态机驱动任务切换，资源池复用VAD检测、ASR连接、TTS连接。
多协议AI Provider统一抽象层：封装7种TTS提供商、3种ASR提供商、多种LLM提供商，通过统一接口加工厂模式实现业务层无感知厂商切换。
全链路流式处理架构：智能分句引擎按标点符号实时切割LLM输出，每个完整句子立即送TTS合成无需等待完整响应；Context级联取消机制确保用户打断时20ms内停止所有任务；定速音频发送避免设备缓冲区溢出。
MCP工具协议集成层：基于Eino框架实现MCP Host，支持全局工具（SSE协议）与设备专属工具（WebSocket协议）动态注册，打通LLM的Function Calling能力，使大模型可调用文件系统、IoT设备控制等外部工具，支持工具调用结果自动回注LLM实现多轮交互。
多传输层适配：支持WebSocket（控制与文本）、MQTT（信令通道）、UDP（低延迟音频流）混合协议，UDP音频传输采用AES-GCM加密加Nonce防重放，确保弱网环境下低延迟（小于50ms）与安全性。
对话状态机与会话管理：为每个设备创建独立ChatManager实例，封装ASRManager、LLMManager、TTSManager三大管理器，状态机驱动任务切换，资源池复用VAD检测、ASR连接、TTS连接。
项目实现
整体架构基于Go-Zero微服务框架的清洁架构（Clean Architecture），分为传输层、会话管理层、业务处理层、Provider抽象层、基础设施层。传输层使用Gorilla WebSocket进行长连接管理、MQTT Client作为信令通道、UDP Server加AES-GCM加密实现低延迟音频流传输。会话管理层为每设备创建独立ChatManager实例实现状态隔离，通过Context生命周期管理实现资源自动回收。业务处理层包含ASRManager负责语音识别、LLMManager负责大模型推理、TTSManager负责语音合成、ServerTransport负责消息发送，各Manager独立运行互不阻塞。Provider抽象层封装多厂商适配，AsrProvider支持FunASR、阿里ASR、豆包ASR，LLMProvider基于Eino框架封装OpenAI、通义千问、豆包、Ollama，TTSProvider支持阿里、豆包、Edge、Cosyvoice、Xiaozhi等，AgentProvider支持阿里智能体、FastGPT。基础设施层使用Redis存储对话历史、设备配置和热更新，MySQL存储应用配置、设备管理、日志，gRPC与sys、agt微服务通信，MCP通过SSE或WebSocket连接工具服务器。
核心技术栈包括音频编解码使用Opus Codec和PCM Float32转换，VAD检测使用WebRTC VAD和Silero VAD（ONNX推理），ASR使用各厂商WebSocket流式API，LLM使用Eino框架统一接口，TTS使用各厂商WebSocket或HTTP流式API，MCP协议基于Eino Tool接口加自研SSE或WebSocket客户端，并发控制使用Go Context、Goroutine、Channel、sync.Map，资源池自实现WebSocket连接复用，配置管理使用Viper加Redis Pub/Sub实现热更新，日志追踪使用Logrus加轮转日志。设计模式运用包括适配器模式统一Provider接口、工厂模式动态创建Provider实例、管道模式通过Channel串联ASR到LLM到TTS异步非阻塞、观察者模式实现Context级联取消、对象池模式复用WebSocket连接和VAD实例、策略模式实现智能分句。
核心技术栈包括音频编解码使用Opus Codec和PCM Float32转换，VAD检测使用WebRTC VAD和Silero VAD（ONNX推理），ASR使用各厂商WebSocket流式API，LLM使用Eino框架统一接口，TTS使用各厂商WebSocket或HTTP流式API，MCP协议基于Eino Tool接口加自研SSE或WebSocket客户端，并发控制使用Go Context、Goroutine、Channel、sync.Map，资源池自实现WebSocket连接复用，配置管理使用Viper加Redis Pub/Sub实现热更新，日志追踪使用Logrus加轮转日志。设计模式运用包括适配器模式统一Provider接口、工厂模式动态创建Provider实例、管道模式通过Channel串联ASR到LLM到TTS异步非阻塞、观察者模式实现Context级联取消、对象池模式复用WebSocket连接和VAD实例、策略模式实现智能分句。
示例图片视频
相似推荐
扬水工程项目
扬水工程项目
为全面提升灌区管理效率与智能化水平，本人主导并实施了覆盖全灌区的信息化管理系统建设项目。本项目构建了一个集数据采集、远程监控、智能调度与决策分析于一体的综合管理平台，实现了对扬水站、负荷区、水库、干渠渠道及分散水井房的统一数字化管控。
一、主要工作内容与成果
1.全灌区骨干网络建设
沿关键设施（扬水站、负荷区、水库、干渠等）部署光纤网络，组建高速稳定的工业级局域网，为数据实时传输与视频监控提供基础保障。
2.分层级数据采集与通信体系构建
中心层：在扬水站建设标准物理机房与数据中心，搭建“数据调度智慧中心”，配备LED大屏实现全局可视化监控。
中间层：对负荷区、水库、干渠等无人驻守站点，采用PLC+RTU组合控制模式，实现对泵阀的远程控制与运行数据采集，并保留现地控制功能。
终端层：针对分布广泛的水井房，安装集成RTU的智能控制箱，通过物联网+4G无线网络采集管道压力、阀门状态、出水流量等数据，并支持现地最高优先级控制。
3.全链路远程监控与控制功能实现
实现对扬水站水泵、负荷区调节阀、水库进水/泄水闸、干渠节制闸、水井房取水阀等设备的远程启停控制。
集成管道电磁流量计、明渠雷达流量计等多种传感设备，实时采集水位、流量、设备状态等数据，并统一回传至数据中心。
4.智能水务管理与决策支持系统开发
基于用水量与水价策略，系统自动生成用水统计报表与费用结算报表，支持年度用水分析与经济核算。
通过智慧中心大屏，实时展示灌区运行全景，辅助管理人员进行调度决策。
二、核心能力体现
1.综合方案设计与整合能力
融合光纤有线网络、4G无线通信、工业自动化控制（PLC/RTU）、物联网传感等技术，构建了适应复杂环境的灌区信息化架构。
2.工业控制系统与IT系统集成能力
实现了从现场控制箱、RTU、PLC到数据中心服务器与可视化平台的无缝数据对接与指令下达，打通了操作层与管理层的信息链路。
3.远程监控与智能调度能力
支持对分散设施进行集中监控与控制，大幅减少人工巡检需求，提升应急响应速度与水资源调配效率。
4.数据分析与业务支撑能力
通过定制化报表系统，将实时数据转化为管理洞察，直接支持水费计收与运营决策，凸显信息化管理的经济效益。
三、项目价值总结
本项目通过构建“网络全覆盖、数据全采集、设备可遥控、业务可分析”的智慧灌区管理体系，实现了：
1.管理效率提升：减少人工依赖，实现远程精准控制。
2.资源配置优化：基于实时数据动态调控水量，促进节水增效。
3.运营决策科学化：通过数据报表支撑水价政策执行与长期规划。
4.安全运行保障：视频监控与设备状态监测有效预防故障与风险。
智慧运行知识平
负责海康，大华，宇视等厂家智能终端的sdk集成，使用rtsp协议+zlm+webrtc实现实时视频和回放，数据库维护，数据迁移，MySQL读写分离，MongoDB分片集群搭建，智能化巡视逻辑编写，前端页面逻辑编写，对接第三方api，第三方数据集成，ipc远程控制，集成第三方sdk，实现ipc的远程控制，支持云台控制，焦距，光圈等控制，手势控制，sdk抓图，支持守望配置，ipc邮箱配置，配置文件的导入导出，修改视频的编码格式。结合zlm实时视频，使用rtsp协议转webrtc协议进行播放，延时低200ms内，操作无感延时。提供api接口未第三方继承。
rk3588平台ai算法部署
1.参与新能源电池按钮按压检测平台视觉模块开发
实现工人操作的实时监督，记录工作时间，流程是否符合标准ng或者ok
实现类sop行为检测的功能
2.rk3588工控盒子算法部署
实现ai视觉算法的端侧部署，高效推理
数据采集
BYD-MES系统上位机是面向比亚迪生产车间的制造执行系统客户端，旨在打通现场设备层与管理层的信息孤岛，实现生产过程的数字化、透明化管控。系统涵盖用户认证、条码验证、生产数据管理、PLC通信、多语言界面及标签打印等核心业务模块，满足汽车制造、电子装配等产线的实时监控与质量追溯需求。
用户认证与权限管理：系统支持在线/离线两种工作模式，适应复杂工业网络环境。登录方式包括密码输入与刷卡识别，用户可根据岗位选择不同凭证。权限体系划分为DEV（开发）、管理员、操作员三级，通过功能按钮的动态启用/禁用实现对生产参数修改、工单下发、报表导出等操作的分级控制。所有登录记录均写入日志，便于审计追溯。
条码验证系统：作为质量防错的关键环节，系统可依据用户自定义规则（如长度、字符类型、校验位、正则表达式）对产品条码进行实时验证。验证类型包括：条码格式规范性、同一工单内的重复性、与MES订单数据的一致性。验证结果通过PLC特定点位（例如D1000触发扫描、D1001-D1005接收条码、D1006返回验证结果、D1007返回错误代码）与产线设备联动，不合格品自动触发报警或剔除动作。提示信息支持简体中文、英文、泰语三种语言，适配比亚迪海外工厂。
生产数据管理：系统实时采集各工位的产量、良品数、返工数，动态计算生产效率、合格率、直通率等KPI指标，并以图表形式展示于车间大屏。配方管理模块允许工艺员按产品型号维护多版本工艺参数（如温度、速度、扭矩等），生产时一键下发至PLC。工单管理涵盖工单创建、发布、生产进度跟踪、完工统计全流程，支持与ERP或MES中央服务器同步。
PLC通信集成：基于HslCommunication库，支持三菱、西门子、欧姆龙等多种PLC协议。系统建立独立通信线程，周期性读取设备状态、故障代码、生产计数，同时接收MES下发的指令（如工单切换、参数调整）。通信链路具备断线重连与心跳检测机制，保障7×24小时稳定运行。
多语言与打印：运行时动态切换界面语言，无需重启应用程序。标签打印集成Seagull BarTender，支持多种模板（产品标签、箱标、托盘标），通过变量替换实现动态数据填充，满足不同产品的标识需求。
XX汽车制作业MES系统
围绕生产全生命周期，打造模块化MES核心功能，覆盖全流程，核心如下：
1. 生产计划与调度：接收ERP工单，分解工序级任务，支持动态排产、插单与跟踪，优化生产顺序，缩短周期。
2. 数据采集与监控：通过IoT、OPC UA等采集设备与工艺数据，支持扫码录入，电子看板实时展示，异常预警。
3. 质量管理：设置各环节检验标准，支持多种检验模式，记录质检数据，不合格品闭环管理，确保可追溯。
4. 设备管理：建立设备台账，监控运行状态、制定维护计划，降低故障率、提升稼动率。
5. 全链路追溯：打通原料到成品全环节，建立正反追溯链，满足合规需求，快速定位质量问题。
6. 系统集成：提供标准API，对接ERP、WMS等系统，实现数据双向同步，消除信息孤岛。
7. 报表分析：生成多维度报表，支持数据钻取，为管理层提供决策支撑。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服