业务和功能介绍
1:传统大模型存在知识截止、容易产生幻觉，无法精准调用私有业务资料。本项目搭建私有知识库问答智能体，将企业文档、技术手册、业务资料入库，让 AI 仅依托上传文档内容作答，用于内部资料咨询、产品文档答疑、技术资料检索场景。
2:核心功能
文档接入：支持 PDF、Word 等格式文档上传、文本解析、自动分段切分；
向量知识库：文本向量化并存入向量数据库，构建私有知识库； 智能检索：用户提问后，执行相似度检索，召回相关文档片段；
智能问答 Agent：结合检索片段 + 提示词工程生成答案，标注引用来源，减少模型幻觉； 对话管理：支持多轮对话、对话历史管理；
拓展能力：支持知识库增删文档、检索参数可调、对外提供 API 接口，支持前端页面接入。
2:核心功能
文档接入：支持 PDF、Word 等格式文档上传、文本解析、自动分段切分；
向量知识库：文本向量化并存入向量数据库，构建私有知识库； 智能检索：用户提问后，执行相似度检索，召回相关文档片段；
智能问答 Agent：结合检索片段 + 提示词工程生成答案，标注引用来源，减少模型幻觉； 对话管理：支持多轮对话、对话历史管理；
拓展能力：支持知识库增删文档、检索参数可调、对外提供 API 接口，支持前端页面接入。
项目实现
### 技术架构
- 后端语言：Python
- 框架：LangChain 实现 Agent 调度、RAG 链路封装
- 大模型：通用大模型 API
- 向量库：轻量向量数据库
- 文档处理：文本解析、文档清洗、文本分块策略
- 接口服务：FastAPI 提供 HTTP 接口，可供 Web 前端调用
### 整体实现流程
1. **文档预处理阶段**
上传文档 → 解析提取纯文本 → 文本清洗去除无效换行、水印、乱码 → 自适应文本分块；
2. **知识库构建阶段**
文本块调用 Embedding 模型转为向量 → 向量 + 原始文本存入向量数据库；
3. **问答推理阶段**
用户提问 → 问题向量化 → 在向量库检索相似度最高的文档片段 → 将检索上下文、用户问题组装进 Prompt 送入大模型；
4. **Agent 调度增强**
增加任务判断逻辑，区分问题是否需要检索知识库；无关问题直接回答，避免无效检索；支持多轮对话上下文记忆；
5. **服务封装**
将文档上传、知识库管理、问答能力封装为 API，可对接 Web 页面，支持私有化部署。
### 本人负责工作
独立完成整条 RAG 链路开发，包含文档解析模块、向量存取逻辑、检索策略调优、Agent 提示词设计、异步接口封装、异常处理；针对文档长短、表格文本优化分片策略，优化检索召回精度，降低模型幻觉。
- 后端语言：Python
- 框架：LangChain 实现 Agent 调度、RAG 链路封装
- 大模型：通用大模型 API
- 向量库：轻量向量数据库
- 文档处理：文本解析、文档清洗、文本分块策略
- 接口服务：FastAPI 提供 HTTP 接口，可供 Web 前端调用
### 整体实现流程
1. **文档预处理阶段**
上传文档 → 解析提取纯文本 → 文本清洗去除无效换行、水印、乱码 → 自适应文本分块；
2. **知识库构建阶段**
文本块调用 Embedding 模型转为向量 → 向量 + 原始文本存入向量数据库；
3. **问答推理阶段**
用户提问 → 问题向量化 → 在向量库检索相似度最高的文档片段 → 将检索上下文、用户问题组装进 Prompt 送入大模型；
4. **Agent 调度增强**
增加任务判断逻辑，区分问题是否需要检索知识库；无关问题直接回答，避免无效检索；支持多轮对话上下文记忆；
5. **服务封装**
将文档上传、知识库管理、问答能力封装为 API，可对接 Web 页面，支持私有化部署。
### 本人负责工作
独立完成整条 RAG 链路开发，包含文档解析模块、向量存取逻辑、检索策略调优、Agent 提示词设计、异步接口封装、异常处理；针对文档长短、表格文本优化分片策略，优化检索召回精度，降低模型幻觉。
示例图片视频
相似推荐
某金融风控和模型系统
1. 风控决策引擎的研发与优化（核心主线）
这是我工作中最核心、贯穿始终的部分。我负责开发和维护机审规则引擎，它决定了贷款申请能否通过审批。具体工作包括：
开发了大量风控规则，例如：经纬度反欺诈规则、AppListName规则、银行卡信息核验、内部人脸黑名单（百度接口）、多平台共债规则、首复贷进件限制、逾期天数限制等。
主导了机审规则的两次大版本优化（2021/2/18-3/10），大幅提升了规则执行的效率与可维护性。
引入了RocketMQ，将风控规则调用、埋点数据上报等改为异步解耦，提升了系统吞吐量。
2. 多国支付网关对接（关键业务闭环）
我独立负责了泰国、尼日利亚、印尼等多个国家的支付渠道对接，完成了从支付下单、回调验签到放款、还款的完整闭环。其中：
尼日利亚支付是你投入时间最长的模块之一（持续从5月到7月），涉及Paystack渠道的深度集成，包括USSD还款、BVN（银行验证号）验证、核销对账等复杂业务。
我解决了多个生产环境的关键问题，如还款数据重复写入、姓名验证BUG等，保障了资金安全。
3. 电销与催收管理系统的功能开发
你为越南/菲律宾市场开发了电销名单自动分单系统，包括案件分配、回收时间逻辑、意向客户标记、拨打任务查询等功能，提升了贷后转化效率。同时，也涉及催收系统的部分功能（如手动分配催收订单）。
4. 数据模型与报表支持
我配合风控模型团队，将多个模型分（菲律宾模型02、越南H5模型、越南模型11/13、贷中评分卡模型等） 落地到系统中，并根据模型结果进行风险定价和档位评定。同时，我为运营提供了大量数据支持（如商户对账单、跑马灯SQL优化等）。
金融信息聚合平台
1、聚合多平台金融资讯，更及时获取最新消息，尽量减少消息遗漏
2、整合多平台财经或大事件日历，更早了解将要发生的大事
3、每日ETF申赎数据自动获取和计算
4、每日股指期货自动获取和更新
5、宏观分析师-对当前整体市场进行分析，给出具有可操作性的建议
猿急送兼职项目智能筛选爬虫系统
1. 项目有哪些具体功能模块：
① 爬虫抓取模块（scrape_lightweight.py）：基于 curl_cffi 异步并发，模拟 Chrome 131 浏览器指纹，自动轮转代理池，支持断点续爬，可抓取猿急送平台所有兼职项目数据（标题、预算、工时、状态、描述等）。
② 智能过滤模块：内置黑名单关键词库，自动排除高难度（架构/专家/底层）、违规敏感（翻墙/刷单/赌博）、硬件 IoT、游戏开发等不适宜大学生接取的项目。
③ 技术分类模块（classify.py）：根据项目描述中的技术关键词，自动将任务归类为爬虫/Python脚本/前端/Web/小程序移动端/后端接口/AI智能体/测试质检/嵌入式IoT/工具脚本等 10 个技术方向，并分 Sheet 输出。
④ 学生项目筛选模块（filter_student_projects.py）：在过滤基础上，进一步筛选预算 ≤500元、非驻场的项目，按预算升序排列，输出适合大学生的项目清单。
⑤ 代理池模块（proxy_pool.py）：自动从快代理、free-proxy-list 抓取免费代理，连通性测试后按成功率加权随机选取，失败 3 次自动拉黑，定期恢复。
2. 项目的主要功能描述：
本项目解决大学生在猿急送等兼职平台上"找项目难、筛项目累"的问题。用户只需运行脚本，即可自动获取全部可投递项目并导出 Excel，同时一键生成按技术方向分类的 Sheet 和经过严格过滤的学生友好项目列表。相比人工逐页浏览，效率提升数十倍；相比人工筛选，避免接到超难度或违规项目。项目结构清晰、依赖简单（仅 Python 4个库），可作为高校课程设计/综合实验的优秀实践案例，完整体现了网络爬虫、数据清洗、分类算法、文件处理等多项核心技能。
AI自由股票分析平台-wise-stock
1. 完整展示A股所有股票的基础信息和行情，以及长达接近20年的K线图
2. 对任意天数的全市场股票涨跌幅等进行全量排行
3. AI基础问答，同时支持AI回答的文档下载功能
4. AI基于已有的数据进行股票分析
5. AI自主训练，基于模板，AI自主分析量化策略并回测
泛微OA替代型-智能审批与费控管理平台
1.立项背景和目标：旧有OA系统扩展性差，且无法适应复杂的差旅报销标准。目标自研一套集预算控制、发票验真、多级审批于一体的轻量级费控系统，覆盖全公司2000+员工日常报销。
2.核心功能模块：可视化流程设计器、动态自定义表单、预算冻结与释放、员工报销申请及OCR发票识别、出纳支付打款模块。
3.业务流程与路径：员工填写报销单（OCR识别发票） -> 系统自动校验预算余额并冻结额度 -> 根据金额路由至不同审批链（主管->财务） -> 审批通过后出纳批量支付 -> 支付完成后回传凭证并释放剩余预算。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服