业务和功能介绍
在开源通用大语言模型的基础上，依托联想算力加持，整合医疗AI研发部多年沉淀的医疗问答、专业教材、学术论文等高质量语料，实现医疗健康领域多模态能力升级。平台专项支撑常州医院AI智能随访、慢病智能管理等核心业务场景，赋能医院医疗服务数字化、智能化升级。
项目实现
负责产品需求调研、技术选型、数据库建模、项目进度把控及代码Review全流程工作。负责医疗智脑整体架构搭建，落地用户管理、AI智能随访、疾病辅助诊断等核心业务功能。主导大模型多轮对话、影像智能识别、文档智能总结、企业知识库等AI能力开发与迭代。负责向量数据库集成部署，完成医疗问答知识体系结构化向量化处理，显著提升大模型专业问答精准度。推进LangChain功能模块组件化封装，落地文档智能问答、慢病智能助理等高阶定制化业务场景。搭建大模型集群服务，基于OpenAPI完成多品类大模型接口标准化封装，实现多模型统一调度与复用。
示例图片视频
相似推荐
豆瓣电影短评爬取
立项背景和目标：为方便对公开电影短评数据做统计分析，开发本网页数据采集脚本，目标是获取豆瓣电影公开的用户短评内容，把评论、评分、评论时间等公开信息批量导出，用于数据分析练习，仅采集网页公开可见数据，不触碰用户隐私。软件功能、核心功能模块：基于 Python 开发，使用 requests 发送网络请求，BeautifulSoup4 解析网页 HTML 源码；实现分页遍历、网页解析、数据清洗模块；提取电影短评的用户名、星级评分、评论正文、发布时间；过滤无效空白内容，将采集完成的数据保存为 txt 格式文件。业务流程、功能路径：输入目标电影短评页面地址，脚本携带请求头访问网页，循环访问多页短评；解析页面提取目标字段，清洗整理数据；完成多页采集后，把全部结果写入本地 txt 文件，完成数据落地存储。
datart二开
datart是宜信开源BI达芬奇的2.0版本，打破常见BI的封闭，支持可插拔的数据源接入，建立标准的数据可视化开放平台。公司二开版本基于开源datart版本增加了多租户权限管理，优化图表、数据展示效率，增加数据清洗处理模块。其Visualization模块除了支持常见的报表外，支持权限可控的标准化交互能力，如筛选、钻取、联动、跳转、弹窗、分享、下载、发送等；很容易被整合、被内嵌至其他三方系统，承担数据可视化部分功能；支持接入Apache DolphinScheduler+Seatunnel实现数据的清洗整理工作。
国家法律知识库爬虫 · 法信 API 逆向
把国家法律法规原文搬进个人知识库：官方页面是加密参数的单页应用，正文还是动态加载，普通爬虫根本抓不到。目标是不碰页面解析，直接批量拿到法律全文，自动归档成可检索、可引用的结构化知识库，支持按时效性快速筛选和长期维护。
独立开发者「糊糊小樱」，软硬通吃工作室主理人。使用 Python 完成网站接口逆向：绕过前端加密参数，直接调用官方后端数据接口，成功收录二十二条国家法律原文，全部为法律效力级别，并按时效状态自动分为五类归档，最终生成支持双向链接的检索索引，形成可长期使用的个人法律知识库。
中台数据处理-智联招聘
智联招聘需要有简历数据呈现，以及相关关键词处理。主要为两个功能服务，1是提供一些搜索支持，将职位相关数据分词后存储在Es集群里。
2是为c端客户或者B端客户展示简历和职位，承托10万级QPS服务，对简历和职位数据进行预处理。
北京新发地网页信息爬取
一、立项背景和目标
北京新发地农产品批发市场作为全国交易规模最大的农产品专业批发市场，其官网每日发布大量蔬菜、水果等农产品的价格行情数据，涵盖品名、规格、产地、价格区间、发布日期等关键信息。这些价格行情数据分散在多个列表页面中，人工逐条复制品名、最低价、平均价、最高价、规格、产地、单位、发布日期等信息录入 Excel 表格工作量大、效率低下，且分页翻阅统计困难。本项目立项目标：基于 Playwright 自动化浏览器抓取北京新发地农产品批发市场官网多页价格行情数据，自动解析字段并写入 Excel 文件，实现农产品价格数据批量结构化导出，方便后续价格趋势分析、产地分布统计与市场行情归档，同时掌握动态网页分页爬取、XPath 层级定位、openpyxl 表格持久化存储的完整爬虫开发流程。
二、软件功能、核心功能模块介绍
三大核心功能模块
（1）Excel 表格初始化模块：使用 openpyxl 库新建工作簿，创建名为“新发地价格行情”工作表，预先写入表头【一级分类、二级分类、品名、最低价、平均价、最高价、规格、产地、单位、发布日期】，智能设置各列宽度确保数据完整显示，定义全局列表用于临时存储抓取到的结构化数据，为后续数据落地做准备。
（2）浏览器自动化页面交互模块：调用 Playwright 启动本地 Chromium 浏览器，配置可视化运行窗口、操作减速防反爬；自动访问北京新发地农产品批发市场官网价格行情栏目，支持按分类筛选（蔬菜、水果等），自动识别总页数并循环执行分页加载逻辑，每页设置合理等待时间，保证后端动态渲染的价格列表完整加载。
（3）数据解析与表格写入模块：通过层级 XPath 定位每一条价格行情数据 DOM 容器，循环提取一级分类、二级分类、品名、最低价、平均价、最高价、规格、产地、单位、发布日期；增加智能字段清洗逻辑，过滤异常数据和空值，逐条将字段追加写入 Excel 工作表，提供数据去重机制避免重复记录，最终完整保存为本地表格文件。
三、业务流程、功能路径描述
（1）程序初始化：创建 Excel 文件、新建工作表并设置表头及列宽；配置本地 Chromium 浏览器启动路径与反爬兼容参数；提示用户选择需要爬取的农产品分类（默认全部分类）；
（2）自动化访问目标网站：打开北京新发地农产品批发市场官网价格行情页面，等待页面完全加载后，通过 XPath 定位分类筛选下拉菜单，根据用户选择模拟点击切换分类，等待列表数据刷新；
（3）分页循环抓取：自动解析总页数，循环执行分页爬取，每一页等待 3-5 秒确保列表数据 JS 渲染完成；定位所有价格行情条目父级容器，获取当前页条目数量；
（4）逐条解析字段：遍历每条条目 DOM 节点，分别提取一级分类、二级分类、品名、最低价、平均价、最高价、规格、产地、单位、发布日期，清洗字符串去除空白字符和无
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服