业务和功能介绍
1、立项背景和目标：
在工作和学习中，我们经常需要处理大量的PDF、Word、TXT等格式的文档（如行业报告、产品手册、研究论文）。传统方式下，在这些文档中查找特定信息效率低下，且难以进行深度的知识整合。本项目旨在开发一个智能个人知识库系统，允许用户上传自己的文档库，并能够通过自然语言进行提问，系统能快速、准确地从文档中定位并生成答案，从而极大提升信息检索和知识消化的效率。
2、软件功能、核心功能模块的介绍：
文档管理模块：支持多格式文档（PDF， DOCX， TXT）的上传、列表展示与删除。
向量化存储模块：自动将上传的文档进行文本分割，并调用嵌入模型将其转换为向量，存储至Chroma向量数据库中。
智能问答模块：提供对话界面，用户输入问题后，系统首先从向量库中检索最相关的文档片段，然后将这些片段与用户问题一同提交给大型语言模型（如GPT-3.5-turbo），生成一个精准、有上下文依据的答案。
3、业务流程、功能路径描述：
用户首先进入Web应用主界面 -> 在“文档上传”区上传一个或多个文档 -> 系统后台处理文档，并在界面上显示“处理成功” -> 用户切换到“知识问答”标签页 -> 在输入框中用自然语言提出问题，例如“总结一下文档中关于市场趋势的要点” -> 系统在1-3秒内返回一个结构清晰、引用了源文档内容的答案。
在工作和学习中，我们经常需要处理大量的PDF、Word、TXT等格式的文档（如行业报告、产品手册、研究论文）。传统方式下，在这些文档中查找特定信息效率低下，且难以进行深度的知识整合。本项目旨在开发一个智能个人知识库系统，允许用户上传自己的文档库，并能够通过自然语言进行提问，系统能快速、准确地从文档中定位并生成答案，从而极大提升信息检索和知识消化的效率。
2、软件功能、核心功能模块的介绍：
文档管理模块：支持多格式文档（PDF， DOCX， TXT）的上传、列表展示与删除。
向量化存储模块：自动将上传的文档进行文本分割，并调用嵌入模型将其转换为向量，存储至Chroma向量数据库中。
智能问答模块：提供对话界面，用户输入问题后，系统首先从向量库中检索最相关的文档片段，然后将这些片段与用户问题一同提交给大型语言模型（如GPT-3.5-turbo），生成一个精准、有上下文依据的答案。
3、业务流程、功能路径描述：
用户首先进入Web应用主界面 -> 在“文档上传”区上传一个或多个文档 -> 系统后台处理文档，并在界面上显示“处理成功” -> 用户切换到“知识问答”标签页 -> 在输入框中用自然语言提出问题，例如“总结一下文档中关于市场趋势的要点” -> 系统在1-3秒内返回一个结构清晰、引用了源文档内容的答案。
项目实现
1、整体架构和设计思路，不同模块使用的技术栈。
项目采用前后端一体的轻量级架构，使用Streamlit快速构建Web界面。后端逻辑完全由Python驱动。
前端/交互层：Streamlit。负责渲染文件上传组件、聊天界面和结果显示。
业务逻辑层：LangChain框架。它像“胶水”一样串联了整个流程，包括文档加载器、文本分割器、向量检索链和与大模型的对话链。
数据层：Chroma（向量数据库）。用于存储和高效检索文档的向量化表示。嵌入模型使用了OpenAI的text-embedding-3-small，大模型使用了OpenAI的gpt-3.5-turbo。
2、“我”的负责模块和结果（尽可能量化）。
我是该项目的全栈开发者，负责从零到一的所有工作。
结果量化：
实现了对3种常见文档格式的解析支持。
在包含50页技术文档的测试集中，问答响应时间平均在2秒以内。
通过设计高质量的检索提示词，使得答案的准确率（与文档内容匹配且直接回答问题的比例）从初版的约60%提升至85%以上。
成功部署至云端，并供小范围团队成员试用，收集了第一批反馈。
3、“我”遇到的难点、坑，和解决方案。
难点一：长文档处理与上下文丢失。初期直接将整个文档扔给LLM，导致模型因上下文长度限制而无法处理，且答案质量差。
解决方案：引入RAG架构。先将长文档切分成小块（Chunks），只将与问题最相关的几个块检索出来作为上下文，完美解决了上下文长度和答案相关性的问题。
难点二：检索精度不高。有时检索出的文本片段与问题关联性不强，导致生成的答案不准确。
解决方案：优化了文本分割策略，尝试了不同的大小和重叠度，最终确定了最佳参数。同时，在构建检索链时，使用了ContextualCompressionRetriever，对检索结果进行重排序和过滤，显著提升了Top-K结果的精度。
难点三：Streamlit应用的状态管理。在聊天场景下，需要记录对话历史，而Streamlit默认每次交互都会重跑脚本。
解决方案：利用Strea
项目采用前后端一体的轻量级架构，使用Streamlit快速构建Web界面。后端逻辑完全由Python驱动。
前端/交互层：Streamlit。负责渲染文件上传组件、聊天界面和结果显示。
业务逻辑层：LangChain框架。它像“胶水”一样串联了整个流程，包括文档加载器、文本分割器、向量检索链和与大模型的对话链。
数据层：Chroma（向量数据库）。用于存储和高效检索文档的向量化表示。嵌入模型使用了OpenAI的text-embedding-3-small，大模型使用了OpenAI的gpt-3.5-turbo。
2、“我”的负责模块和结果（尽可能量化）。
我是该项目的全栈开发者，负责从零到一的所有工作。
结果量化：
实现了对3种常见文档格式的解析支持。
在包含50页技术文档的测试集中，问答响应时间平均在2秒以内。
通过设计高质量的检索提示词，使得答案的准确率（与文档内容匹配且直接回答问题的比例）从初版的约60%提升至85%以上。
成功部署至云端，并供小范围团队成员试用，收集了第一批反馈。
3、“我”遇到的难点、坑，和解决方案。
难点一：长文档处理与上下文丢失。初期直接将整个文档扔给LLM，导致模型因上下文长度限制而无法处理，且答案质量差。
解决方案：引入RAG架构。先将长文档切分成小块（Chunks），只将与问题最相关的几个块检索出来作为上下文，完美解决了上下文长度和答案相关性的问题。
难点二：检索精度不高。有时检索出的文本片段与问题关联性不强，导致生成的答案不准确。
解决方案：优化了文本分割策略，尝试了不同的大小和重叠度，最终确定了最佳参数。同时，在构建检索链时，使用了ContextualCompressionRetriever，对检索结果进行重排序和过滤，显著提升了Top-K结果的精度。
难点三：Streamlit应用的状态管理。在聊天场景下，需要记录对话历史，而Streamlit默认每次交互都会重跑脚本。
解决方案：利用Strea
示例图片视频
相似推荐
交易行监控-Python
1对交易行中新币，合约上线进行监控。
2与手机绑定，一旦上线可以进行提示/响铃等，现在为对iPhone专属barkapp进行通信提示。
3对已关键词筛选过的帖子序号进行数据库存储，防止重复读取。
4可开启代理模式，以及根据调用周期进行监控。
自动化架构搭建-支付服务底层全链路自动化搭建
金融行业线上bug要无限接近于零，钱袋子出问题就是大问题，基于背景搭建全链路自动化
以下功能更是重中之重
充值、提现、支付、代付、注册、绑卡等等，这些功能需要有自动化来减少人工测试回归的压力，以及代替冒烟测试
某定投辅助程序
1. 背景：通过机器学习训练自己的投资习惯进行定投的Agent，解放用户的精力和为客户实现盈利。
2. 功能：通过机器学习算法和长期积累的数据训练小模型，通过自动化脚本操作金融平台，为用户自动进行投资，可按用户要求定制止盈和止损策略。
3. 交付成果：此辅助程序为用户提供了极大的便利，解放用户双手，自动化进行执行并且平均每日产生至少15%的收益。
全税申报系统
近年来国家监管体系逐步从“以票控税”向“以数治税”转变，随着总局智慧税务系统的建设和现代化税收征管系统的不断升级，对企业税务管理提出了新的更高的要求；监管机构已经领先企业，实现了对经济活动监管的数字化升级，实现了全流程数字化，并通过标签化、要素化，以及与底层数据打通， 提升了管理水平以及数据价值，并逐步向企业开放；随着金税四期全面上线，税务机关逐步以税务风险为导向设置专业化机构，由“事前审批”向“事中事后管理”转变，预示着税收征管工作呈现持续趋严态势。
随着国家数字化转型的推进，监管联动和金税四期的到来，企业面临着多方面的压力，在国税局建立税务直连通道之后，企业将不可回避的面临全面电子化、数字化的转型压力；当前太平财险仅增值税、保单印花税实现系统处理，其余税种（企业所得税、车船税、房产税、土地使用税、印花税、代扣代缴个人所得税/增值税/企业所得税等）大多缺乏系统支持；税务数据分析、税务档案管理等全部依靠财务人工处理，数据标准、处理时效均有所制约，难以发挥税务风险识别、税收筹划等综合管控能力，税务数字化程度远低于业财数字化水平；由数据采集、智能申报及风控三个层面提升税务数字化程度，助力税务管理合规；构建税务系统也有助于实现不同业务系统间及行业内的信息共享、互联互通，符合税务信息化发展的方向。
目标：
1.在业财税一体化的基础上，实现全税种的自动计算及核算、涉税业务系统管理和申报管理，减少手工和线下管理，自动生成相关凭证和纳税申报表。
2.建立税务数据信息数据库，自动编制税务统计报表和税务相关管理报表，便捷查询各种涉税业务信息和管理情况。
整合税务档案、各项税务政策法规，推动税务人员主动研究分析税务政策，防控税务风险。
金融社交app-超交易
超交易，一个创新的金融社交交易平台，汇聚国内外顶尖理财专家，即时跟踪实名投资高手的真实交易，及时推送有效的交易数据综合分析，支持移动端及网页版本，追踪投资达人的即时交易，与社区好友一起分享。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服