toc平台APP-呱呱

基于LLama2-7B、InternLM-Chat-7B、Baichuan2-13B等模型进行对比评估。 使用QLoRA技术在低成本GPU环境下进行指令微调，构建领域问答能力。 编写用于自监督微调的预处理脚本，支持大规模数据增广与token级清洗。 使用vLLM + Huggingface Transformers进行高并发在线部署，性能相较HF原生模型提升2.3倍。 实现多租户Prompt路由机制，支持不同用户基于角色动态注入上下文。 利用FastAPI构建推理API，集成JWT权限验证与调用限流（Redis实现QPS控制）。 搭建训练监控看板（Prometheus + Grafana），实时追踪loss、lr、GPU利用率。 开发自动数据标注接口，接入OpenAI API辅助生成高质量Instruction数据。 优化与压缩： 尝试4bit量化部署，减少80%以上显存占用，便于消费级GPU部署。 结合PEFT与AdapterFusion技术，完成多领域模型参数模块融合。

负责设计并开发基于 FastAPI 的人脸图像管理系统，实现了人脸检测、特征提取、图片入库、人脸比对和违规图片处理等核心功能。项目采用分布式微服务架构，通过 gRPC 调用人脸识别模型服务，使用 Milvus 向量数据库进行高性能的人脸特征存储与检索（512维特征向量），采用 Redis 实现分布式锁和结果缓存，使用 MinIO 对象存储管理图片文件。系统支持亿级人脸图片的存储和毫秒级的相似人脸检索，实现了 0.8 相似度阈值的图片查重和 0.45 相似度阈值的人脸识别。项目采用 Pydantic 进行数据校验，使用 Loguru 进行日志管理，通过装饰器实现了统一的异常处理和响应格式化，保证了系统的可靠性和可维护性。

项目包含LLM应用服务、技能流（SkillFlow）编排系统、多轮对话记忆管理、RAG知识增强检索、链式推理任务调度、智能对话接口等多个核心模块。使用者可通过图形化界面自由组合任务节点，实现政策咨询、工单分类、事件提取、辅助决策等多样化政务场景的快速适配；多轮对话记忆机制提升交互连贯性与意图识别准确率；RAG服务结合本地知识库显著增强模型问答质量；链式推理机制则强化复杂业务逻辑的处理能力，整体提升AI在政务服务中的智能化水平与实用性。

项目团队与客户展开深度交流，全面梳理业务痛点，精准把握客户在数据处理与分析方面的核心需求。结合当时大数据领域前沿技术趋势，经多方研讨与论证，最终确定采用分布式架构作为解决数据处理难题的技术路线，正式启动该分布式数据分析系统项目。

自动上传与演算：用户仅需将电路配置文件上传至系统，AI 算法即可自动对电路参数进行高精度演算。无需人工手动输入和计算，大大减少了人力投入和计算时间，同时避免了因人为操作失误导致的计算错误，显著提升了电路参数计算的效率和准确性。​ 页面缓存路由：采用先进的页面缓存路由技术，有效优化了系统页面的加载速度和响应性能。用户在操作过程中，可快速切换不同页面，减少等待时间，提升操作体验。同时，缓存机制降低了服务器的负载压力，提高了系统的稳定性和可靠性。​ 多页面联动查询：支持多页面之间的联动查询功能，用户可在不同页面之间快速关联和对比电路参数数据。通过联动操作，能够更全面、深入地分析电路设计情况，及时发现潜在问题和优化空间，为电路设计和参数调整提供有力的决策依据。