业务和功能介绍
为提升公司在垂直行业（教育）中大模型应用能力，本项目致力于构建一个可支持国产及开源大语言模型微调、评估与在线部署的一体化平台。通过参数高效微调技术（如LoRA）与分布式训练框架，降低大模型应用门槛并显著压缩部署成本。
基于LLama2-7B、InternLM-Chat-7B、Baichuan2-13B等模型进行对比评估。
使用QLoRA技术在低成本GPU环境下进行指令微调，构建领域问答能力。
编写用于自监督微调的预处理脚本，支持大规模数据增广与token级清洗。
使用vLLM + Huggingface Transformers进行高并发在线部署，性能相较HF原生模型提升2.3倍。
实现多租户Prompt路由机制，支持不同用户基于角色动态注入上下文。
利用FastAPI构建推理API，集成JWT权限验证与调用限流（Redis实现QPS控制）。
搭建训练监控看板（Prometheus + Grafana），实时追踪loss、lr、GPU利用率。
开发自动数据标注接口，接入OpenAI API辅助生成高质量Instruction数据。
优化与压缩：
尝试4bit量化部署，减少80%以上显存占用，便于消费级GPU部署。
结合PEFT与AdapterFusion技术，完成多领域模型参数模块融合。
基于LLama2-7B、InternLM-Chat-7B、Baichuan2-13B等模型进行对比评估。
使用QLoRA技术在低成本GPU环境下进行指令微调，构建领域问答能力。
编写用于自监督微调的预处理脚本，支持大规模数据增广与token级清洗。
使用vLLM + Huggingface Transformers进行高并发在线部署，性能相较HF原生模型提升2.3倍。
实现多租户Prompt路由机制，支持不同用户基于角色动态注入上下文。
利用FastAPI构建推理API，集成JWT权限验证与调用限流（Redis实现QPS控制）。
搭建训练监控看板（Prometheus + Grafana），实时追踪loss、lr、GPU利用率。
开发自动数据标注接口，接入OpenAI API辅助生成高质量Instruction数据。
优化与压缩：
尝试4bit量化部署，减少80%以上显存占用，便于消费级GPU部署。
结合PEFT与AdapterFusion技术，完成多领域模型参数模块融合。
项目实现
模型选型与微调：
基于LLama2-7B、InternLM-Chat-7B、Baichuan2-13B等模型进行对比评估。
使用QLoRA技术在低成本GPU环境下进行指令微调，构建领域问答能力。
编写用于自监督微调的预处理脚本，支持大规模数据增广与token级清洗。
推理部署与服务化：
使用vLLM + Huggingface Transformers进行高并发在线部署，性能相较HF原生模型提升2.3倍。
实现多租户Prompt路由机制，支持不同用户基于角色动态注入上下文。
利用FastAPI构建推理API，集成JWT权限验证与调用限流（Redis实现QPS控制）。
工具链与可视化：
搭建训练监控看板（Prometheus + Grafana），实时追踪loss、lr、GPU利用率。
开发自动数据标注接口，接入OpenAI API辅助生成高质量Instruction数据。
优化与压缩：
尝试4bit量化部署，减少80%以上显存占用，便于消费级GPU部署。
结合PEFT与AdapterFusion技术，完成多领域模型参数模块融合。
项目成果：
成功部署3个大语言模型服务实例，稳定支持日均10万次API调用。
微调后模型在公司内部测评集上准确率提升18%，满意度评分提升至92%。
项目交付成果被用于两项对外商业合作，支撑多个行业客户私有化部署。
基于LLama2-7B、InternLM-Chat-7B、Baichuan2-13B等模型进行对比评估。
使用QLoRA技术在低成本GPU环境下进行指令微调，构建领域问答能力。
编写用于自监督微调的预处理脚本，支持大规模数据增广与token级清洗。
推理部署与服务化：
使用vLLM + Huggingface Transformers进行高并发在线部署，性能相较HF原生模型提升2.3倍。
实现多租户Prompt路由机制，支持不同用户基于角色动态注入上下文。
利用FastAPI构建推理API，集成JWT权限验证与调用限流（Redis实现QPS控制）。
工具链与可视化：
搭建训练监控看板（Prometheus + Grafana），实时追踪loss、lr、GPU利用率。
开发自动数据标注接口，接入OpenAI API辅助生成高质量Instruction数据。
优化与压缩：
尝试4bit量化部署，减少80%以上显存占用，便于消费级GPU部署。
结合PEFT与AdapterFusion技术，完成多领域模型参数模块融合。
项目成果：
成功部署3个大语言模型服务实例，稳定支持日均10万次API调用。
微调后模型在公司内部测评集上准确率提升18%，满意度评分提升至92%。
项目交付成果被用于两项对外商业合作，支撑多个行业客户私有化部署。
示例图片视频
相似推荐
音视频-新维短剧
随着短剧 “短平快、强冲突” 的内容形态在国内爆发，海外市场（东南亚、欧美、拉美）成为新增长点。本项目聚焦 “精品短剧出海 + 多渠道分发推广运营 + 付费变现” 核心模式，面向全球用户提供涵盖多种热门语言和字幕翻译、本地化的短剧内容服务以达到最佳观剧体验，覆盖 “免费看广告 + 付费解锁全集 + 会员订阅” 三种变现路径, ,目标打造海外头部短剧聚合与分发平台。
dida语音
1、项目整体基于Spring Boot 2 + Spring Cloud 构建，使用eureka做为注册中心，使用Apollo做为配置中心，整个产品拆分为帐户、直播、礼物、勋章、游戏、搜索、公会平台、管理平台、营销平台、活动平台等多个服务模块，进行分布式部署和运维。
2、使用MySql做为数据库，业务接口使用Redis缓存提高查询效率和接口性能，使用MongoDB和ES对数据做多维度终态聚合，方便快速索引完整数据。
3、引入RabbitMQ，解耦业务流程，如广播登录事件在独立业务场景及活动端处理数据，使用延迟消息队列进行直播有效性认定等
4、使用XXL-JOB进行定时数据刷新及聚合，包括列表缓存数据刷新，过期数据清理等。
5、基于EMQ与客户端进行实时通信及消息广播，如房间送礼、全局跑马灯，点歌互动等。
6、使用第三方声网和即构进行直播和聊天室服务，包括语音直播、语音聊天室、视频直播、视频聊天室以及Unity游戏中的实时语音通信。
7、使用第三方融云进行IM实时消息聊天，以及部分事件通知。
8、使用第三方数美进行业务风控识别，包括IM聊天消息、用户文字动态、直播间公屏消息、用户昵称等文字风控审核，用户动态图片、用户头像等图片风控审核以及语音及视频直播、聊天时的旁路流实时审核，确保线上业务风控稳定。
9、使用第三方极光推送、短信推送以及自己的站内信功能进行活动通知、事件触达、异步消息、营销类通知消息等功能。
10、基于APP埋点及业务行为数据进行大数据离线标签清洗，配合运营侧进行营销平台功能实现，包括老用户召回、精准活动推送、个性化直播间及聊天室推荐等。
Cooraft
Cooraft 将人工智能的力量带到您的指尖，将普通图像转变为令人惊叹的艺术作品。借助 Cooraft，您可以用有趣的表情为脸部照片制作动画，并创建艺术表情符号。您还可以将各种艺术风格应用于您的照片，从 3D 卡通到古典绘画。除了风格化肖像之外，Cooraft 还可以将各种输入（例如草图、绘图、绘画和线条艺术）转换为逼真、3D 或艺术灵感的新渲染。
亿级用户在线播放器产品-MxPlayer
1. 参与设计并推进项目的模块化、组件化建设，解耦逻辑、提升开发效率，并针对各个模块落实责任人，加强代码管控；
2. 参与项目的品质优化和稳定性建设，例如：优化首页启动速度和卡顿问题、构建gradle task屏幕适配脚本等
3. 推进团队由Java向Kotlin逐步转型，推动每周学习分享活动，建立RD与QA之间问题复盘机制
商显一体机
该一体机产品基于MTK9630 Android11平台开发，并搭配windows OPS，可安装使用第三方Android应用，也可切换到搭配的OPS通道使用windows系统，同时支持USB-A/C口，HDMI/VGA/DP，有线/Wifi/BT等基础功能。可根据客制化应用于教育机、会议机、广告机等使用场景，覆盖教育、会议、广告等不同领域的需求。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服