# 用 WorkBuddy 半天搭好本地政府采购检索系统：爬虫+SQLite+FastAPI 全记录 #WorkBuddy#

> 标签：#WorkBuddy# #积分攻略# #实操教程# #Python# #全文检索#
> 分类建议：开发工具 / 人工智能
> 原创声明：本文系作者原创，首发于腾讯云开发者社区。

## 一、痛点：标讯散落在 49 个网站上，靠人肉刷太累了

笔者帮朋友做了一项工作：**盯招标信息**。

政府采购和交易类公告分散在几十个平台——国家级的、各省的、还有本省的。每天手动去刷一遍，不仅慢，还经常错过关键标段。更麻烦的是，这些信息看完就散了，想回头搜"某关键词去年有没有类似项目""某个供应商中过几次标"，根本无从查起。

我的诉求其实很朴素：

1. 把分散的标讯**拉到本地**集中沉淀；
2. 支持**全文检索 + 筛选 + 排序**，秒级出结果；
3. 有新公告时**实时推送**，不用一直盯着；
4. 做成一个**跨电脑免配置**就能跑的小工具，给同事也能用。

听起来像个小项目，自己从头写爬虫、建库、搭后端前端，没个两三天搞不定。但我用 WorkBuddy 当"执行中枢"，**一个下午就跑通了可用版本**。下面把完整流程和踩坑记下来，照着做你也能复现。

## 二、技术选型：为什么是 Python + SQLite + FastAPI

我没上 MySQL、ES 那一套重型组件，原因很现实：

- **SQLite 单文件数据库**：零部署，文件拷走就能用，天然适合"跨电脑免配置"；
- **FTS5 全文检索**：SQLite 内置的虚拟表，中文/英文检索开箱即用，不用再装搜索引擎；
- **FastAPI + SSE**：轻量后端，SSE（Server-Sent Events）天然适配"实时推送新公告"；
- **纯 Python 生态**：爬虫、解析、打包全用 Python，最后 PyInstaller 一键出 exe。

整套架构一条线：

```
49个招标平台 → 爬虫层(分阶段) → SQLite(FTS5) → FastAPI后端(SSE+检索API) → 前端看板(实时刷新)
```

## 三、分步实操（重点）

### 步骤 1：让 WorkBuddy 拆解需求、生成项目骨架

不要一上来就写代码。我给 WorkBuddy 的指令是：

```
我要做一个本地政府采购/交易类站点检索系统，技术栈用 Python + SQLite(FTS5) + FastAPI + 前端看板。
需求：①爬虫覆盖约49个招标平台(国家级8/省级30/本省11) ②SQLite存储+FTS5全文检索 ③FastAPI提供检索/筛选/排序API，并用SSE实时推送新公告 ④前端看板实时刷新 ⑤PyInstaller打包成跨电脑免配置可运行。
请先给出项目目录结构、各模块职责、数据表schema草案，再分步实现，每步先给方案我确认。
```

WorkBuddy 直接输出了分层目录和模块边界，我确认后它再逐文件生成——这比我自己从零想省力太多。

### 步骤 2：爬虫层——分阶段探索，而不是"一把梭"

招标网站最坑的地方是**接口不统一、还常变**。我的做法是分阶段推进，每阶段显式汇报里程碑：

1. **探索接口**：先用 WorkBuddy 跑几个平台的列表页，摸清数据接口（有的有 JSON 接口，有的要从 HTML 抽）；
2. **拉取数据**：按平台逐个写适配器，失败自动重试、User-Agent 轮换；
3. **校验**：字段缺失/编码异常的直接标记跳过，不污染主库；
4. **合并**：汇入 LOCAL_CORPUS 基准数据集。

**去重是核心**。我用了三维组合，实测误判率很低：

- URL hash（同一链接必是同一公告）
- 内容 hash（正文完全一致的合并）
- 标题相似度（用编辑距离，阈值内的归并）

```python
def dedupe(items):
    seen = {}
    for it in items:
        key = (hashlib.md5(it['url'].encode()).hexdigest(),
               hashlib.md5(it['content'].encode()).hexdigest())
        if key in seen: continue
        if similar_title(it['title'], seen): continue
        seen[key] = it
    return list(seen.values())
```

### 步骤 3：存储层——SQLite + FTS5

全文检索直接上 FTS5 虚拟表，建表极简：

```sql
CREATE VIRTUAL TABLE IF NOT EXISTS notices USING fts5(
    title, body, source, province, pub_date, url UNINDEXED
);
-- 检索示例：含"水库"且来自"贵州"的最新10条
SELECT title, source, pub_date FROM notices
WHERE notices MATCH '水库' AND province='贵州'
ORDER BY pub_date DESC LIMIT 10;
```

> 配图建议 1：此处放 SQLite 里 notices 表的截图 + 一条 MATCH 查询的结果。

### 步骤 4：后端——FastAPI + SSE 实时推送

检索/筛选/排序走普通 REST，新公告实时推送走 SSE：

```python
@app.get('/stream')
async def stream():
    async def event_gen():
        while True:
            if new := poll_new():        # 轮询新公告
                yield f"data: {json.dumps(new, ensure_ascii=False)}\n\n"
            await asyncio.sleep(5)
    return StreamingResponse(event_gen(), media_type='text/event-stream')
```

前端用 `EventSource('/stream')` 接住，有新公告就往看板顶部插一条，体验很像"实时弹幕"。

> 配图建议 2：此处放前端看板运行截图，展示检索框 + 筛选条件 + 实时推送的一条新公告。

### 步骤 5：前端看板

一个单页 HTML 就够了：左上检索框、顶部筛选（省份/平台/日期）、中间结果列表、右侧实时推送区。全部用原生 JS + fetch + EventSource，不引框架，打包体积最小。

### 步骤 6：打包跨电脑运行

用 PyInstaller 把整个后端+前端打成一个 exe，关键几点：

- 依赖装进独立 venv，打包时 `--paths` 指过去，不污染系统；
- 所有路径用**相对路径**，数据文件放 exe 同目录；
- 强制 UTF-8，避免换电脑后中文乱码。

打好之后，拷贝到别的电脑双击即跑，无需装 Python、无需配数据库。

## 四、踩坑记录（最值钱的部分）

1. **招标接口常变 + 反爬**：不要指望一次写死。做成"分阶段探索+失败重试"，某个平台接口挂了不影响其他平台，后续单独修适配器即可。
2. **中文全文检索分词**：FTS5 默认按空白切词，对中文不友好。短标题检索可用 `trigram` 辅助索引，或先 jieba 分词再入库，召回率明显提升。
3. **SSE 长连接超时**：Nginx/浏览器都可能断。后端加心跳（定时发 `: ping`），前端 `onerror` 自动重连。
4. **去重误判**：单靠 URL 会漏、单靠标题相似会误并。三维组合（URL+内容+标题相似度）是平衡后的稳妥方案。
5. **跨电脑路径/编码**：相对路径 + 全程 UTF-8，是唯一能"免配置直接跑"的保证。

## 五、效果

本地基准数据集 81 条公告（国家级+本省交易云），检索响应**毫秒级**，筛选/排序即时生效，新公告通过 SSE **秒级推送到看板**。对一个下午的产出来说，已经完全够日常用了，后续只是往里持续灌数据。

> 配图建议 3：此处放"检索'水库'关键词 → 结果列表 + 耗时"的对比截图，直观体现效果。

## 六、总结与延伸

这套思路不限于政府采购：**任何"多源、要检索、要实时"的信息聚合场景**（行业资讯、竞品监控、论文追踪）都能套同一个骨架——爬虫分层 + SQLite/FTS5 + FastAPI/SSE + 单页看板。

核心经验就一句：**把 WorkBuddy 当执行中枢，自己只做"提需求 + 审方案 + 拍板"，重活让它干**。一个下午，从想法到能跑的工具，这就是 AI 智能体工作流和普通"聊天 AI"的区别。

---

*本文使用 WorkBuddy 辅助撰写与代码生成。发布时请补充上述 3 处配图（系统真实截图），并自行填写署名与原创声明。*


标签：#WorkBuddy# #积分攻略# #实操教程# #Python# #全文检索# 分类建议：开发工具 / 人工智能 原创声明：本文系作者原创，首发于腾讯云开发者社区。

用 WorkBuddy 半天搭好本地政府采购检索系统：爬虫+SQLite+FastAPI 全记录

人工智能

半天搭好本地政府采购检索系统：爬虫+SQLite+FTS5+FastAPI+SSE实时推送，49个招标平台标讯集中沉淀，支持全文检索与筛选排序，秒级响应，PyInstaller打包跨电脑免配置运行，附踩坑实录与代码实现。

智能体工作流

数据接口

代码解释

数据库

WorkBuddy 

智能体

Python

SQLite

Nginx

Agent

MySQL

JSON

WorkBuddy企业版限时双倍 Credits 活动

workbuddy

腾讯云BI特惠9.9元起！


2026上云采购 | AI焕新·智启新局

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

用 WorkBuddy 半天搭好本地政府采购检索系统：爬虫+SQLite+FastAPI 全记录-腾讯云开发者社区-腾讯云

用 WorkBuddy 半天搭好本地政府采购检索系统：爬虫+SQLite+FastAPI 全记录

用 WorkBuddy 半天搭好本地政府采购检索系统：爬虫+SQLite+FastAPI 全记录

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐