搜索 软件定制 案例

一、立项背景和目标 北京新发地农产品批发市场作为全国交易规模最大的农产品专业批发市场，其官网每日发布大量蔬菜、水果等农产品的价格行情数据，涵盖品名、规格、产地、价格区间、发布日期等关键信息。这些价格行情数据分散在多个列表页面中，人工逐条复制品名、最低价、平均价、最高价、规格、产地、单位、发布日期等信息录入 Excel 表格工作量大、效率低下，且分页翻阅统计困难。本项目立项目标：基于 Playwright 自动化浏览器抓取北京新发地农产品批发市场官网多页价格行情数据，自动解析字段并写入 Excel 文件，实现农产品价格数据批量结构化导出，方便后续价格趋势分析、产地分布统计与市场行情归档，同时掌握动态网页分页爬取、XPath 层级定位、openpyxl 表格持久化存储的完整爬虫开发流程。 二、软件功能、核心功能模块介绍 三大核心功能模块 （1）Excel 表格初始化模块：使用 openpyxl 库新建工作簿，创建名为“新发地价格行情”工作表，预先写入表头【一级分类、二级分类、品名、最低价、平均价、最高价、规格、产地、单位、发布日期】，智能设置各列宽度确保数据完整显示，定义全局列表用于临时存储抓取到的结构化数据，为后续数据落地做准备。 （2）浏览器自动化页面交互模块：调用 Playwright 启动本地 Chromium 浏览器，配置可视化运行窗口、操作减速防反爬；自动访问北京新发地农产品批发市场官网价格行情栏目，支持按分类筛选（蔬菜、水果等），自动识别总页数并循环执行分页加载逻辑，每页设置合理等待时间，保证后端动态渲染的价格列表完整加载。 （3）数据解析与表格写入模块：通过层级 XPath 定位每一条价格行情数据 DOM 容器，循环提取一级分类、二级分类、品名、最低价、平均价、最高价、规格、产地、单位、发布日期；增加智能字段清洗逻辑，过滤异常数据和空值，逐条将字段追加写入 Excel 工作表，提供数据去重机制避免重复记录，最终完整保存为本地表格文件。 三、业务流程、功能路径描述 （1）程序初始化：创建 Excel 文件、新建工作表并设置表头及列宽；配置本地 Chromium 浏览器启动路径与反爬兼容参数；提示用户选择需要爬取的农产品分类（默认全部分类）； （2）自动化访问目标网站：打开北京新发地农产品批发市场官网价格行情页面，等待页面完全加载后，通过 XPath 定位分类筛选下拉菜单，根据用户选择模拟点击切换分类，等待列表数据刷新； （3）分页循环抓取：自动解析总页数，循环执行分页爬取，每一页等待 3-5 秒确保列表数据 JS 渲染完成；定位所有价格行情条目父级容器，获取当前页条目数量； （4）逐条解析字段：遍历每条条目 DOM 节点，分别提取一级分类、二级分类、品名、最低价、平均价、最高价、规格、产地、单位、发布日期，清洗字符串去除空白字符和无

本项目属于内容创作辅助工具领域，服务于 Bilibili 平台的 UP 主群体。Bilibili 作为国内领先的视频社区，拥有数百万活跃内容创作者，平台每月推出数百个创作活动和征稿话题。UP 主需要在海量话题中快速识别高流量、高参与度的活动，以便合理分配创作资源。目前市场上缺乏专门针对 Bilibili 话题数据聚合和管理的桌面端工具，大多数 UP 主依赖手动浏览网页或使用简易脚本，存在数据获取不全面、管理混乱、操作繁琐等问题。本工具填补了这一市场空白，为 UP 主提供专业的话题数据洞察和管理能力。 本工具的核心价值在于将分散的 Bilibili 活动话题数据进行聚合、分析和可视化展示。通过一键同步功能，UP 主可以在数分钟内获取平台上千个活动话题的完整数据，并通过播放量排行快速锁定高价值话题。工具还支持话题状态跟踪，自动标记活跃和已结束的话题，帮助 UP 主把握参与时机。本地 SQLite 数据库确保持久化存储，历史数据可随时查询对比。整体设计注重数据密度和操作效率，采用暗色主题降低长时间使用的视觉疲劳，虚拟滚动技术确保大数据量下的流畅体验。

多源数据采集：集成 Remotive 公开 API 和 Hacker News 招聘帖两个数据源，异步并发抓取，单源失败不影响其他源 数据标准化：将不同格式的招聘信息统一映射为标准结构，支持职位标题、公司、地点、薪资、标签等字段 智能去重：基于数据源+ID 主键去重，重复抓取自动更新而非重复插入 数据导出：一键导出 CSV/JSON 格式，支持 Excel 直接打开（UTF-8-SIG 编码） 数据分析报告：自动生成薪资分布（分桶统计）、技能词频、地区/公司 Top-N 排名等分析报告 定时任务：支持 cron 表达式配置，定时自动抓取（默认每天 09:00）

本项目面向电影行业数据监测场景，旨在自动化采集猫眼专业版实时票房榜单，覆盖影片排名、综合票房、票房占比及排片场次等核心指标。系统可替代人工手动查表，支持高频定时抓取（如每1分钟执行一次），为影院排片、宣发策略调整、竞品分析提供及时、准确的数据依据，帮助从业者快速洞察市场动态，提升决策效率。同时，结构化存储的数据便于后续进行票房趋势分析、影片生命周期研究和档期效果评估。

本项目是一个面向政策信息网站的智能爬虫系统，专注于自动采集与“航空航天”产业相关的政策文件、通知公告、工作动态等公开信息。系统通过模拟用户登录、处理动态加载内容，抓取政策的标题、正文、发布网站、技术领域和发布时间等核心字段，并将数据结构化存储至Excel表格中，便于后续的政策分析、趋势研判和产业研究。该工具可有效替代人工检索，大幅提升信息获取效率，为政府决策、企业规划及学术研究提供及时、全面的政策数据支撑。

本系统基于Scrapy+Playwright框架，动态采集爱奇艺综艺榜与电视剧榜的标题、弹幕、评价、类型、简介、热度六项核心数据。通过自动获取设备指纹与公网IP有效规避反爬机制，支持分页循环抓取，数据经Pipeline清洗后自动写入Excel，按榜单类型分工作表存储。适用于影视内容热度监测、竞品分析及行业报告数据采集场景，帮助运营人员快速掌握内容表现与市场趋势。

为独立开发者 lemon 打造的一款个人品牌展示网站。整体采用深色科技感风格，包含首页 Hero 区域、个人介绍、技能栈、项目作品、联系方式等核心模块。网站支持响应式布局，适配手机、平板、PC 多终端。同时加入 Canvas 粒子动态背景与滚动交互动效，增强视觉冲击力。该项目作为个人独立开发作品，用于展示前端开发能力与技术审美，并作为后续接单的作品案例入口页

1、立项背景和目标 商办房产经纪业务字段复杂（单套房源字段超200个），传统操作依赖人工填表、跨系统查询，效率低且易出错，同时面临严格的合规监管要求。项目目标是打造面向商办经纪人的对话式AI工作台，将“GUI填表+跨系统检索”的繁琐操作转化为自然语言对话交互，降低经纪人操作成本，提升信息处理准确性，满足合规风控要求。 2、软件功能与核心模块 核心覆盖5大业务场景：①起始路由（START）：毫秒级识别用户意图，自动跳转对应场景；②智能找房（SEARCH）：支持自然语言查房，依托Milvus双通道流式实现语义召回，缺失条件时触发HITL结构化表单补全；③线索分析（LEADS）：自动汇总周期内线索，LLM输出重点客户排序、来源分布，通过ID反查规避事实幻觉；④带看规划（TOURS）：拉取双侧窗口带看数据，联动路径规划服务生成最优路线，支持一键加日历；⑤房源创建（LISTING_CREATE）：OCR+LLM抽取房源字段，敏感字段合规拦截价格/抵押类敏感字段，支持联网补全公开信息，三步表单引导合规提交。底层配套LangGraph状态机编排、SSE双通道流式推送、全链路Trace可观测、多层级防幻觉体系等支撑能力。 3、业务流程与功能路径 以典型找房流程为例：用户访问/ai页面→START场景识别为找房需求→LLM抽取城市、业态、面积等核心条件，若缺失交易类型则弹右侧Drawer表单补全→拼接标量过滤条件，定向Milvus对应多业态分区召回60套房源→LLM生成个性化推荐理由→前端实时渲染30张卡片，支持“换一组”“收藏”等操作。若为挂盘流程：用户上传房源材料→OCR提取文本→LLM分段抽取字段并附带原文引用防幻觉→校验必填项，敏感字段合规拦截敏感字段→用户补全剩余字段→提交至上游业务系统，全流程状态可追溯，支持断网续跑、跨设备同步。

开发定向爬虫程序，针对主流招聘门户网站开展公开岗位信息采集；自动抓取岗位名称、薪资范围、工作地点、任职要求、公司行业、福利标签等字段；对抓取的原始数据进行去重、空值过滤、薪资区间标准化清洗；最终结构化导出Excel表格，可用于岗位薪资调研、行业人才需求分析、竞品公司招聘动向监测；程序自带请求间隔、随机切换基础反爬策略，降低页面封禁概率，支持指定城市、岗位关键词定向采集。

针对居民垃圾分类准确率低、分类标准复杂等问题，设计并开发了一套智能垃圾分类辅助系统。系统采用前后端分离架构，前端基于Vue3构建交互界面，后端采用FastAPI提供接口服务，并使用MySQL管理用户及识别数据。基于PyTorch对MobileNetV2进行迁移学习，实现四类生活垃圾智能识别，同时集成Top-K分类结果展示和Grad-CAM热力图可视化，提高模型预测的准确性和可解释性。此外，结合Ollama部署DeepSeek大语言模型，实现环保知识问答功能，并开发用户登录、JWT身份认证、历史记录查询、管理员后台及数据统计分析等模块，形成完整的智能垃圾分类解决方案。

1. 艺术品交易圈层封闭、门槛极高 传统艺术品流通依赖线下画廊、拍卖行，交易集中在专业藏家圈层；普通大众想购买装饰、收藏级原作缺少正规渠道，信息高度不对称，作品定价不透明、溢价混乱，普通人难以辨别真伪、合理估价。 2. 供需两端渠道割裂 • 艺术家：青年学院派、新锐创作者缺少稳定曝光与销售通路，画廊抽成高、签约门槛严苛，作品变现难； 3. 垂直电商空白 综合电商无专业艺术运营能力，专业艺术平台极少同 整体分为C端消费者功能、艺术家入驻功能、数字交互体验、交易履约、内容美育、定制B端、个人中心后台七大板块，覆盖浏览、选购、预览、交易、创作孵化、空间定制全流程。

Boss直聘岗位抓取 SDK (job_hunter) 是一款基于“真实浏览器 Cookie + httpx 纯 API 调用”的高效数据抓取工具。项目创新性地采用 “浏览器仅供登录态，数据走纯 API” 的架构，在保证账号安全与登录稳定性的同时，实现了极高的数据抓取速度与并发性能。 核心功能 1. 全链路岗位数据获取 多维度精准搜索：支持关键词搜索，并兼容城市、薪资、学历、经验、行业、规模、融资阶段等丰富的筛选条件（支持直接传入中文名称或数字编码）。 深度详情解析：精准获取完整 JD（岗位职责）、技能要求、工作地址、招聘人数、职位状态及薪酬类型等深度信息。 2. 自动化沟通与互动 一键打招呼：支持通过 API 自动向目标 Boss 发送招呼/开始沟通，并返回详细的成功或失败状态（如触发开聊提醒）。 会话全景追踪：一键获取全部会话列表，包含最后沟通消息、时间、发送方以及未回复状态监控。 面试邀请管理：快速获取当前所有的面试邀请列表。 3. 智能风控与高可用机制 Session 自动保活：自动识别并处理 code=37 等风控拦截，实现 Token/Session 过期自动刷新。 登录态自动恢复：实时检测页面失效关键词，一旦检测到登录失效，自动唤起浏览器重新登录。 网络异常重试：内置底层重试机制，有效应对网络波动，保障抓取任务不中断。 4. 灵活的工程化配置 数据与日志持久化：支持结果自动保存为 JSON，提供控制台输出与日志文件双写模式。 GUI 友好设计：提供 on_message 回调接口，可轻松集成到各类桌面端 GUI 应用程序中。

立项背景与目标 背景： 跨模态检索（Cross-Modal Retrieval）是视觉-语言理解领域的核心任务，包含两类方向： - I2T（Image-to-Text）： 给定一张图片，从候选文本库中检索最匹配的文本描述 - T2I（Text-to-Image）： 给定一段文本，从候选图像库中检索最匹配的图片 传统的跨模态检索方法通常依赖大规模标注数据对模型进行微调训练（training-based），计算成本高、周期长，且跨领域泛化能力有 限。本项目探索一种**完全无训练（Training-Free）**的跨模态检索新范式——直接利用多模态大模型（MLLM）的语义理解和推理能力 ，结合层次化的上下文嵌入策略，在不进行任何模型微调的情况下，达到甚至超越有训练方法的检索精度。 目标： 1. 构建一个完整的、模块化的无训练跨模态检索流水线 2. 通过多维度图像描述生成和层次化语义嵌入，提升检索召回率 3. 引入 MLLM 重排序（Reranking）机制，在粗排的基础上做精细化语义匹配 4. 在 Flickr30K 和 COCO 2017 等标准数据集上验证方案的有效性 5. 通过一系列消融实验，系统分析各模块对最终性能的影响 软件功能 1. 图像多维度描述生成： 利用VL模型对每张图片从多个语义角度生成描述文本，为后续向量检索提供丰富的语义覆盖 2. 嵌入粗排： 采用自研嵌入策略，将多维度描述编码为高质量向量，计算图文相似度矩阵，输出 R@1/5/10 评估指标，并导出 Top-K 候选集供精排使用 3. MLLM Bidirectional Reranking： 在粗排 Top-K 候选集的基础上，对候选结果进行深度语义重排序，同时支持 I2T 和 T2I 两个方向 4. 自动化实验流水线： 通过 main.py 统一调度三阶段流程，自动进行 GPU 显存管理，支持大规模数据集批量处理 5. 稳定性测试： 对重排序模块进行多次重复推理，统计模型输出的一致性和稳定性 核心功能模块介绍 模块一：Stage1 - 图像描述生成（stage1_captioning.py） - 功能： 对数据集中的每张图片，利用 Qwen3模型生成四个独立维度的详细描述 模块二：Stage2 - HCE 粗排与评估（stage2_HCE.py） - 功能： 采用层次化上下文嵌入策略进行图文粗排检索，计算相似度矩阵并评估性能 - 核心类： CaptionRetrievalEvaluatorFast 模块三：Stage3-进行重排序Reranking

强大的本地文件搜索与文件浏览/文件管理工具，可搜索手机里的各种文件，包括PDF、办公文件、文本文件等，支持按文件名检索，也能搜索文档内部文字内容。 主要功能： - 支持按文件名、关键词搜索文件 - 支持PDF、Word、Excel、PPT、TXT等文档全文内容搜索 - 搜索结果按相关度智能排序，关键词高亮显示 - 支持数十种常用语言 - 可直接打开、分享文件，一键跳转到所在文件夹 - 内置文件浏览器，支持按目录层级浏览 - 可对文件进行新建、复制、剪切、删除、重命名等管理操作 - 按图片、视频、文档等类型快速筛选文件 详细介绍及演示：https://zhuanlan.zhihu.com/p/22545329794 OPPO、VIVO、小米、联想、三星可通过软件商店安装（OPPO、VIVO搜索“文件搜索极速版App”）。其它手机可下载apk安装：https://www.pgyer.com/X8FfsPzr

项目概述：夸克文档是内置于夸克App中的云端办公套件，集文档、表格、PPT的编辑与强大的PDF工具于一体。凭借海量模板和便捷的文档编辑能力，主要为学生和职场用户提供一站式、轻量化的移动办公解决方案，是夸克构建“搜索+创作+存储”生产力生态的核心环节。

让每一份微小的商业理想，都有燎原之力 以种子用户为起点，通过AI技术普惠与价值共生，通过精准赋能与裂变传播，助力企业实现从0到1的突破，最终形成指数级增长的市场影响力，如星火燎原般覆盖全域。 核心定位 「智能种子用户增长引擎，点燃企业从0到1的爆发力」 技术基因：AI算法+行为科学，打造“种子用户育种系统”。 生态赋能：构建“公海-私域-平台”共生网络，帮助企业实现“线索精准-获客简单-销售成本降低-精准触达-人工介入”，直达成交核心。 企业愿景 「重塑商业生态，赋能万企生长」 1. 行业变革：成为全球企业用户增长的底层引擎，推动传统获客模式向数据化、精准化、可持续化转型。 2. 社会价值：通过降低企业获客成本、提升资源效率，助力中小企业突破增长瓶颈，促进经济生态多元化繁荣。 3. 未来使命：构建去中心化的用户增长网络，让每一家企业都能平等获取增长动能，推动全球商业向「用户共生」时代演进。 企业品格： 用智者之态，挖掘数据洞察增长本质 用园丁心态，长期陪伴客户成长 用先锋之驱，科技之心创造商业新模式，让商业更简单 核心价值 - 精微致远：以种子用户为支点，撬动长期价值 - 共生共燃：用户与企业互为燃料，共享增长红利 -数据驱动：以算法为核心竞争力，提供可量化、可复制的增长模型 -降本增效：降低人力运营和销售成本，增加人效

## 业务和功能介绍 ### 核心功能 1. 多语言词典查询 ：支持英语、日语、韩语、法语、俄语、德语、西班牙语、意大利语、葡萄牙语等9种语言的单词查询 2. 智能翻译服务 ：集成DeepSeek API实现文本翻译，支持短语和句子级翻译 3. 生词本管理 ：用户可创建多个生词本分组，支持单词添加、删除、分组管理 4. 单词发音 ：集成TTS语音合成服务，支持单词和例句发音 5. 学习测试 ：提供智能测试功能，记录学习成绩和进度 ### 辅助功能 - 用户注册与登录（JWT认证） - 搜索历史记录（自动清理超过500条的旧记录） - 翻译历史记录 - 用户行为分析统计 - 单词反馈系统

这是一个使用PyQt5开发的数据管理系统，基于MySQL数据库，支持多用户登录、表格管理、SQL执行工具、应用系统（录入/查询/修改）、AI助手等功能，管理员可进行用户和服务器配置管理。这是一个使用PyQt5开发的数据管理系统，基于MySQL数据库，支持多用户登录、表格管理、SQL执行工具、应用系统（录入/查询/修改）、AI助手等功能，管理员可进行用户和服务器配置管理。

一、业务介绍 本项目是基于 Python 开发的影视剧集智能爬取与 M3U8 多线程下载工具，针对动态渲染影视网站开发。 用户只需输入影视名称，程序自动完成全网剧集检索、页面动态 JS 渲染解析、M3U8 流媒体地址逆向抓取，支持自选集数、多线程高速分片下载，并自动规范命名保存，解决传统手动找资源、单线程下载慢、文件杂乱难管理的痛点，实现搜剧、爬集、解析、下载、自动命名一站式自动化处理。 二、核心功能介绍 影视关键词搜索 支持输入任意影视名称，程序自动检索匹配相关影视资源，抓取对应全部剧集列表。 剧集列表爬取展示 自动爬取该影视下所有分集信息，展示可下载集数，供用户自由选择需要下载的单集或多集。 JS 动态渲染解析 调用浏览器内核进行 JS 渲染，逆向解析动态网页，精准提取隐藏的M3U8 流媒体真实地址。 多线程分片下载 采用多线程技术对 M3U8 分片资源并行下载，大幅提升下载速度，相比单线程效率显著提升。 智能文件自动命名 下载完成后自动按照 影视名称 + 所选集数 规则命名文件，格式规整、方便本地整理和查找。 整体流程自动化 全程无需手动抓包、找链接，从搜剧→爬集→选集→解析 M3U8→多线程下载→自动命名，全流程自动化运行。

2. 搜索引擎性能攻坚，准确率大幅提升 技术方案优化：升级到Elasticsearch 8.13.x 替代原有es6.1实现，优化中文分词算法（融合IK分词 +自定义行业词库），重构搜索排序策略（结合用户行为权重+内容相关性评分），引入AI大模型实现用户搜索意图分析，训练本地微模型实现不规则词拆分。 数据治理升级：清洗历史脏数据 300万+条，建立数据质量校验规则，实现搜索结果去重与实时更新 核心指标突破：搜索准确率从60%提升至85%，搜索响应时间从300ms优化至80ms，用户搜索转化率提升25% 3. 全链路安全加固，漏洞清零攻坚 安全体系搭建：整合SonarQube代码审计、Nessus漏洞扫描、OWASP Top 10合规整改，建立「开发-测试-上线」全流程安全校验机制 漏洞集中治理：重点修复SQL注入、XSS跨站脚本、权限绕过等高危漏洞187个，优化接口鉴权逻辑与数据加密传输方案（采用RSA+AES混合加密） 安全成果落地：系统漏洞总数从234个降至30个（均为低危且无explot风险），通过等保三级合规检测，全年无安全事件发生 4. 工程化与运维体系升级，提效降本 自动化部署落地：搭建Jenkins CI/CD 流水线，集成代码拉取、编译打包、自动化测试、多环境部署全流程，部署时间从2小时/次缩短至15分钟/次，全年减少人工操作800+小时 任务调度优化：引入XXL-Job替代原生@Scheduled，实现定时任务分片执行、失败重试、可视化监控，解决原任务并发冲突问题，任务执行成功率从92%提升至 99.9% 监控体系搭建：基于 Prometheus+Grafana 构建全栈监控平台，覆盖服务器（CPU/内存/磁盘IO）、应用（接口响应时间/异常率）、数据库（连接数/慢查询）三大维度，实现故障提前预警，系统可用性提升至99.95% 数据层优化：针对MySQL进行慢查询优化（优化SQL50+条、新增索引30+个），清理过期数据与碎片，释放存储空间30GB，数据库查询性能提升60% 外链抓取提效：基于Docker部署Flask爬虫系统，实现抓取任务一键触发、分布式执行与数据自动入库，抓取效率提升3倍，支持100+数据源同步 5. 跨团队协作与