业务背景
为提升公司在垂直行业（教育）中大模型应用能力，本项目致力于构建一个可支持国产及开源大语言模型微调、评估与在线部署的一体化平台。通过参数高效微调技术（如LoRA）与分布式训练框架，降低大模型应用门槛并显著压缩部署成本。
功能介绍
基于LLama2-7B、InternLM-Chat-7B、Baichuan2-13B等模型进行对比评估。
使用QLoRA技术在低成本GPU环境下进行指令微调，构建领域问答能力。
编写用于自监督微调的预处理脚本，支持大规模数据增广与token级清洗。
使用vLLM + Huggingface Transformers进行高并发在线部署，性能相较HF原生模型提升2.3倍。
实现多租户Prompt路由机制，支持不同用户基于角色动态注入上下文。
利用FastAPI构建推理API，集成JWT权限验证与调用限流（Redis实现QPS控制）。
搭建训练监控看板（Prometheus + Grafana），实时追踪loss、lr、GPU利用率。
开发自动数据标注接口，接入OpenAI API辅助生成高质量Instruction数据。
优化与压缩：
尝试4bit量化部署，减少80%以上显存占用，便于消费级GPU部署。
结合PEFT与AdapterFusion技术，完成多领域模型参数模块融合。
使用QLoRA技术在低成本GPU环境下进行指令微调，构建领域问答能力。
编写用于自监督微调的预处理脚本，支持大规模数据增广与token级清洗。
使用vLLM + Huggingface Transformers进行高并发在线部署，性能相较HF原生模型提升2.3倍。
实现多租户Prompt路由机制，支持不同用户基于角色动态注入上下文。
利用FastAPI构建推理API，集成JWT权限验证与调用限流（Redis实现QPS控制）。
搭建训练监控看板（Prometheus + Grafana），实时追踪loss、lr、GPU利用率。
开发自动数据标注接口，接入OpenAI API辅助生成高质量Instruction数据。
优化与压缩：
尝试4bit量化部署，减少80%以上显存占用，便于消费级GPU部署。
结合PEFT与AdapterFusion技术，完成多领域模型参数模块融合。
项目实现
模型选型与微调：
基于LLama2-7B、InternLM-Chat-7B、Baichuan2-13B等模型进行对比评估。
使用QLoRA技术在低成本GPU环境下进行指令微调，构建领域问答能力。
编写用于自监督微调的预处理脚本，支持大规模数据增广与token级清洗。
推理部署与服务化：
使用vLLM + Huggingface Transformers进行高并发在线部署，性能相较HF原生模型提升2.3倍。
实现多租户Prompt路由机制，支持不同用户基于角色动态注入上下文。
利用FastAPI构建推理API，集成JWT权限验证与调用限流（Redis实现QPS控制）。
工具链与可视化：
搭建训练监控看板（Prometheus + Grafana），实时追踪loss、lr、GPU利用率。
开发自动数据标注接口，接入OpenAI API辅助生成高质量Instruction数据。
优化与压缩：
尝试4bit量化部署，减少80%以上显存占用，便于消费级GPU部署。
结合PEFT与AdapterFusion技术，完成多领域模型参数模块融合。
项目成果：
成功部署3个大语言模型服务实例，稳定支持日均10万次API调用。
微调后模型在公司内部测评集上准确率提升18%，满意度评分提升至92%。
项目交付成果被用于两项对外商业合作，支撑多个行业客户私有化部署。
基于LLama2-7B、InternLM-Chat-7B、Baichuan2-13B等模型进行对比评估。
使用QLoRA技术在低成本GPU环境下进行指令微调，构建领域问答能力。
编写用于自监督微调的预处理脚本，支持大规模数据增广与token级清洗。
推理部署与服务化：
使用vLLM + Huggingface Transformers进行高并发在线部署，性能相较HF原生模型提升2.3倍。
实现多租户Prompt路由机制，支持不同用户基于角色动态注入上下文。
利用FastAPI构建推理API，集成JWT权限验证与调用限流（Redis实现QPS控制）。
工具链与可视化：
搭建训练监控看板（Prometheus + Grafana），实时追踪loss、lr、GPU利用率。
开发自动数据标注接口，接入OpenAI API辅助生成高质量Instruction数据。
优化与压缩：
尝试4bit量化部署，减少80%以上显存占用，便于消费级GPU部署。
结合PEFT与AdapterFusion技术，完成多领域模型参数模块融合。
项目成果：
成功部署3个大语言模型服务实例，稳定支持日均10万次API调用。
微调后模型在公司内部测评集上准确率提升18%，满意度评分提升至92%。
项目交付成果被用于两项对外商业合作，支撑多个行业客户私有化部署。
示例图片视频
相似推荐
智能终端
1.支持FM 、IP、4G接收；
2.web远程升级和OTA在线升级；
3.支持静态地址配置和DHCP动态地址获取；
4.支持外接LED显示屏；
终端是一款专用于应急广播系统中的高可靠、高稳定应急信息播发设备，主要功能是将上级下传的广播信号接收解析并放大播出。设备支持多模通道接收播放功能，支持音量本地物理调整与平台远程调整；支持RS232串口，支持内置后备电源。外壳采用采用一体化结构，壳体具有防锈、抗腐蚀、阻燃性能，可适应长期在野外环境中工作。设备广泛适用于应急广播系统中。
IPTV管理平台
1.电视节目获取，包含高标清节目。
2.机顶盒APK处理，内置APK。
3.开机定制酒店LOGO：客人插房卡取电后，系统自动启动，并利用IPTV服务器展示酒店LOGO图片和自定义开机宣传视频，提升入住体验。
4.酒店服务展示：IPTV服务器与收银系统相连，客人可以通过多媒体系统查看酒店大堂、客房、会议室等各区域的实时情况，方便了解酒店服务。
5.酒店主界面：主界面背景设置为酒店宣传视频，内容可通过IPTV服务器后台自由更换，实时展现酒店特色。
6.网络协议转换，UDP/TCP到HTTP/HLS/SRT协议。
7.IP地址管理
8.多语言支持：系统默认提供中英文，并可扩展支持日韩等多种语言，适应不同国籍客人的需求。
9.数字电视与高清点播：系统提供高清节目实时更新和自主选择功能，同时支持广电清流组播信号及卫星电视信号的接入。此外，还支持高清视频点播，满足不同客户需求。
10.视频点播功能：支持拖放、暂停、多音轨切换和多字幕切换等操作，提供丰富的观影体验。
11.信息发布与查询：支持滚动字幕信息发布和公共信息查询功能，包括单位介绍、领导班子介绍等详细内容。
12.PMS酒管对接
直播项目
项目包含多个核心功能模块：用户服务、认证授权、发信中心、老用户回归活动、直播房间管理、礼物系统、背包服务、虚拟资产系统、交易提醒等。
- 用户可通过统一账号完成注册与登录，并进行身份验证和信息管理；
- 直播房间支持主播开播、观众进入观看及互动；
- 礼物系统实现用户送礼、特效展示与收益分配；
- 背包模块用于管理用户的虚拟道具、礼物卡券等数字资产；
- 虚拟资产服务支持积分、金币、会员权益等资产的发放与使用；
- 通过发信服务推送系统通知、运营活动等消息；
- 老用户回归活动提升用户活跃与回流率；
音乐ai人声分离
音频分离工具，具体功能模块：
1，服务器python环境搭建，tensorflow+spleeter环境搭建。
2，分离出背景音乐和人声音，可升级成背景乐可以再细分，鼓、贝斯、钢琴或其他伴奏器。
2，打包并下载文件，或者编写接口供app、网站等其他接口调用。
MCS 多媒体通讯系统
主要针对企事业单位视频会议、远程培训、即时通讯与协同办公综合应用设计。主要包含登录、会议列表和互动操作界面，支持最多 4 个参会人员的视频预览。本项目采用 jni 封装底层业务，使用软解码预览远程会议人员画面，硬编码本地画面并发送至会议服务器。
帮助文档
Copyright @ 2021-2024 程序聚合 | 浙ICP备2021014372号
人工客服