程序聚合 软件案例 百度AI开放平台 边缘端核心推理组件EdgeKit的设计与开发-EdgeKit

百度AI开放平台 边缘端核心推理组件EdgeKit的设计与开发-EdgeKit

2025-06-09 16:51:00
行业:云计算
载体:云服务/云平台、算法模型
技术:C++、ONNX Runtime

业务和功能介绍

公有云是云计算概念的主流解决方案,但是对于边缘端部署情况,需要面临如网络延迟太大,网络连接不稳定等诸多问题。提供离线SDK部署方案可以解决以上问题
百度智能云平台包含模型的训练和发布全流程,模型发布阶段会对接训练阶段的模型产出,对于离线部署的客户需要生成离线推理SDK包。EdgeKit对接适配多款硬件如Nvidia-GPU,高通骁龙芯片等。同时为了压缩部署成本,需要对已有的模型实施一系列模型压缩算法,以达到加速目的。

项目实现

EdgeKit
1. 负责EdgeKit在Nvidia-GPU端上落地,基于TensorRT推理框架开发边缘端推理引擎;负责EdgeKit在高通骁龙系列DSP、GPU端上落地,基于SNPE推理框架的边缘端推理引擎,支持包括SE-ResNeXt、YoloV3、Faster-RCNN等多个CV模型;
2. 拓展网络支持范围和优化推理性能,TensorRT自定义包括relu6、broadcast_mul、upsample等算子,优化算子性能,单线程推理延迟平均减少~5%;开发SNPE INT8量化组件,针对不同的网络结构适配量化算法。
3. 负责开发EdgeKit针对经典机器学习模型的推理引擎,支持包括决策树、逻辑回归等多种机器学习模型,支持框架包括SkLearn、XGBoost、PMML;建设经典机器学习model zoo。
4. 跨平台移植,负责利用MSVC和MinGW工具将EdgeKit的多个C/C++组件适配到Windows平台。

Juicer模型压缩
1. 开发Juicer针对Paddle模型的量化、通道剪枝、知识蒸馏等模型压缩组件,模型压缩方法支持多个CV网络结构,包括SE-ResNeXt、YoloV3、Faster-RCNN等;将压缩后的模型适配到包括Intel-x86、Nvidia-GPU、ARM等多种设备端。
2. 设计并实现组合压缩策略,基于airflow开发相关调度组件显著提升原模型性能,如在Intel x86平台上实现YoloV3单线程推理延迟平均降低155%,模型体积减小153%、内存占用降低237%;主导模型压缩组件升级到动态计算图;优化通道剪枝策略,利用敏感度分析方法搜索更佳的模型结构以达到更优的压缩效果,mAP/Top1平均提升~1%。

示例图片视频


k
30天前活跃
方向: 人工智能-计算机视觉与图像处理、人工智能-机器学习与深度学习、
交付率:100.00%
相似推荐
互联网金融支付项目
1.随着电商、共享经济等新业态爆发,中小商户与个人对便捷、低成本收付款需求激增,传统银行结算流程繁琐、到账慢,第三方支付凭借轻量化、全场景适配优势,成为市场刚需,本项目旨在打造合规、高效的聚合支付系统。 2.支持微信、支付宝、云闪付等主流渠道收款,提供订单管理、自动对账、分账结算、电子发票一键开具,搭载交易风控引擎,实时拦截异常交易,同时开放 API 接口,支持商户个性化二次开发。 3.用户发起付款请求,系统跳转至聚合收银台,用户选择支付渠道完成付款,交易数据同步至风控模块核验,核验通过后资金自动清算至商户账户,同时推送交易凭证与对账报表至商户后台。
智慧金融爬虫数据采集系统
1.立项背景和目标:需要对主流金融网站上的常见金融指标数据进行分析,需要获取实时的数据做量化分析 2.软件功能、核心功能模块的介绍:(1) 爬虫任务定时执行、任务状态检测平台采用dolphinschduler开源框架 (2) 爬取数据采用request,selenium,playwright,rpa,scapy等框架 (3)反爬技术框架采用js逆向、滑块验证码、图片数字验证码、ocr图片识别技术 (4)数据库采用mongoldb,oracle,后端技术采用flask框架 3.业务流程、功能路径描述:爬取主流金融网站的数据、图片、excel文件、html信息,解析、提取、转换其中的数据并落入数据库中,通过接口的形式推送到业务系统做展示
消费金融项目
锦咏数据互联网信贷中台(以下简称“信贷中台”)是构建在互联网+的基础上推出的新一代信贷系统平台,为企业客户和金融机构提供全流程、模块化的综合金融科技解决方案。整个系统是集线上线下多渠道导流、智能信贷审核、智能风控引擎、完整信贷核心核算、智能催收系统为一体的综合业务解决方案,解决了传统信贷的放款速度慢、银行垄断及信用审核难等问题,使互联网、个人消费、信用认证、量化评分、快速放款高效地结合到一起。系统平台支持互联网渠道如蚂蚁集团、微众银行、众安保险、度小满金融、360数科等多个导流渠道,支撑多种金融应用场景,完美适应面向场景化消费信贷、现金分期、随借随还、小微信贷等多种金融产品。结合互联网大数据征信对接多维度数据源、个人信用认证、量化评分等,做到快速自动化审批与人工审批完美结合,从而灵活配置风控规则,运用大数据风控建模,降低风控成本,提升审批效率,减少坏账发生率。
基于大模型NLP与游资动量特征的A股智能决策系统
1、立项背景和目标 散户获取股市消息面的渠道分散(新闻联播、财经频道、交易软件、财务报表等),且面对海量资讯时,人类大脑无法在盘中极短时间内完成“阅读->情绪判断->结合盘面->交易决策”的闭环。 本项目旨在解决这一痛点,开发一款“全维量化监控系统”。目标是将国内顶尖短线游资(如“92科比”)的盘面量价心法(硬数据)与基于深度学习的大语言模型(LLM)新闻情感分析(软数据)相结合,实现盘中毫秒级的自动化盯盘与决策辅助。 2、软件功能、核心功能模块的介绍 系统主要包含三大核心模块: 高频行情嗅探模块 (Market Scanner): 绕过繁琐的全市场扫描,直连新浪财经API,实时抓取全市场“高换手率”的活跃资金流向,计算涨跌停家数与市场平均溢价,生成“游资情绪仪表盘”。 量化规则引擎 (Strategy Logic): 基于短线打板心法,内置多重过滤漏斗(剔除ST/退市、锁定5-50元黄金价格带、筛选5%-25%异动换手率、大于2亿成交额的右侧上涨股),精准锁定核心龙头。 AI 舆情雷达模块 (AI News Sentiment): 针对初筛出的龙头股,自动化调用东方财富搜索接口,抓取最近7天的相关新闻。并载入本地部署的 Erlangshen/FinBERT 中文金融自然语言处理模型,对资讯标题进行语义理解,输出“利好/利空/中性”的AI判别及置信度。 3、业务流程、功能路径描述 系统的业务路径为一条高度自动化的流水线: 启动系统 -> 初始化本地NLP大模型 -> 触发定时扫描 -> 拉取新浪实时活跃行情 -> 执行量价策略筛出Top 5目标股 -> 对Top 5目标触发定向新闻爬虫 -> 大模型阅读新闻并打分 -> 融合行情与消息面,终端输出带表情包的可视化决策看板。
SA财富管理系统
该项目是中国民生银行自主研发运营的一套零售理财管理系统,业务主要分为对公和对私,PC端和手机端,服务范围全国28家所有民生银行的理财经、理财助理 、产品经理、产品助理等。包括基本电子基金业务、利息支票业务、货币市场、基本储蓄业务、信用卡及线索营销等服务。该项目每年营业365天,每天营业24小时,通过电子邮件或免费热线,为客户提供充满活力的、全天候的客户服务支持。为用户提供客户信息的收集整理,发起线索,开展营销活动等一系列的流程。实现各级分工协作,适合每个岗位的操作权限的控制。 该项目主要的模式是帮助银行工作人员收集和管理客户信息,为不同的客户群体提供各种有针对性的银行理财产品,帮助客户做出购买决定;充分挖掘潜在客户,持续追踪客户,和客户建立长期稳定的合作关系。 该项目主要运用的技术包括Spring, SpringMVC, MyBatis, Struts, WebService, Ajax, Json, Jsp, jQuery, Easy-ui, E-charts等等。因为该项目是由.net升级改造为Java的一个大型项目工程,有很多业务外包给多家软件公司,跨越多个项目,分属不同领域,所以涵盖的技术也比较多和杂。 主要功能模块分为:工作首页(包含各个功能模块的热点功能),工作专区(工作计划、工作日程、工作提醒),快速查询(查询客户),产品货架(储蓄、基金、债券、贵金属等),系统管理(用户信息管理、菜单设置、权限管理、系统参数配置等,此项仅管理岗可见,且根据权限大小而定),关于我们。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服