闲鱼AI监控与智能筛选机器人

闲鱼智能监控机器人是一个基于 Playwright 和 AI 智能分析的多任务实时监控工具，提供一个功能完善的 Web 可视化管理界面，使用户能够通过自然语言描述来创建复杂的监控任务并自动生成 AI 分析标准，无需手动配置，系统能够并行处理多个监控任务，并对发现的商品进行实时流式处理，结合多模态大语言模型（如 GPT-4o）对商品图文和卖家画像进行深度分析，以实现精准筛选和推荐。闲鱼智能监控机器人高度可定制，每个任务都可独立设置关键词、价格范围和 AI 分析指令，并通过 ntfy.sh 提供即时通知。闲鱼智能监控机器人内置了模拟真人操作的健壮反爬策略，确保运行稳定性，保留了命令行高级用法以满足不同用户需求。

可视化Web界面：提供完整的Web UI，支持任务可视化管理、AI标准在线编辑、运行日志实时查看和结果筛选浏览，不用直接操作命令行和配置文件。 AI驱动的任务创建：用自然语言描述购买需求，就能一键创建包含复杂筛选逻辑的全新监控任务。 多任务并发：通过config.json同时监控多个关键词，各任务独立运行，互不干扰。 实时流式处理：发现新商品后，立即进入分析流程，不会有批处理延迟问题。 深度AI分析：集成多模态大语言模型（如GPT-4o），结合商品图文和卖家画像进行深度分析，筛选精准。 高度可定制：每个监控任务都能配置独立的关键词、价格范围、筛选条件和AI分析指令（Prompt）。 即时通知：通过ntfy.sh将符合AI推荐的商品马上推送到你的手机或桌面。 健壮的反爬策略：模拟真人操作，有多种随机延迟和用户行为，稳定性较高。

快速开始（Web UI推荐）

推荐使用Web管理界面操作本项目，体验更好。

第1步：环境准备

克隆本项目到本地：

git clone https://github.com/dingyufei615/ai-goofish-monitor
cd ai-goofish-monitor

安装所需的Python依赖：

pip install -r requirements.txt

第2步：基础配置

配置环境变量：在项目根目录创建一个.env文件，并填入以下配置信息。

# OpenAI API 相关配置
OPENAI_API_KEY="sk-..."
OPENAI_BASE_URL="https://api.openai.com/v1"  # 如果使用代理，请修改为代理地址
OPENAI_MODEL_NAME="gpt-4o"

# ntfy 通知服务配置
NTFY_TOPIC_URL="https://ntfy.sh/your-topic-name" # 替换为你的 ntfy 主题 URL

# 企业微信机器人通知配置
WX_BOT_URL="https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=xxxxx"

# 是否使用edge 默认使用chrome
LOGIN_IS_EDGE=false

# 是否开启电脑链接转换为手机链接
PCURL_TO_MOBILE=true

获取登录状态（重要）：为了让爬虫能以登录状态访问闲鱼，必须先运行一次登录脚本生成会话状态文件。

python login.py

运行后会弹出一个浏览器窗口，用手机闲鱼App扫描二维码完成登录。成功后，程序会自动关闭，并在项目根目录生成一个xianyu_state.json文件。

第3步：启动Web服务

一切就绪后，启动Web管理后台服务器。

python web_server.py

第4步：开始使用

在浏览器中打开http://127.0.0.1:8000访问管理后台。在“任务管理”页面，点击“创建新任务”。在弹出的窗口中，用自然语言描述购买需求（例如：“我想买一台95新以上的索尼A7M4相机，预算1万3以内，快门数低于5000”），并填写任务名称、关键词等信息。点击创建，AI会自动生成一套复杂的分析标准。回到主界面，点击右上角的“🚀 全部启动”，开始自动化监控！

Web UI功能一览

任务管理

• AI创建任务：使用自然语言描述需求，一键生成监控任务和配套AI分析标准。 • 可视化编辑：在表格中直接修改任务参数，如关键词、价格范围等。 • 启停控制：独立控制每个任务的启用/禁用状态，或一键启停所有任务。

结果查看

• 卡片式浏览：以图文卡片形式清晰展示每个符合条件的商品。 • 智能筛选：能一键筛选出所有被AI标记为“推荐”的商品。 • 深度详情：查看每个商品的完整抓取数据和AI分析的详细JSON结果。

运行日志

实时日志流：在网页上实时查看爬虫运行的详细日志，方便追踪进度和排查问题。

系统设置

• 状态检查：一键检查.env配置、登录状态等关键依赖是否正常。 • Prompt在线编辑：直接在网页上编辑和保存用于AI分析的prompt文件，实时调整AI的思考逻辑。

命令行高级用法

对于喜欢命令行的用户，项目保留了脚本独立运行的能力。

启动监控

直接运行主爬虫脚本，它会加载config.json中所有启用的任务。

python spider_v2.py

调试模式：如果只想测试少量商品，可以使用--debug-limit参数。

# 每个任务只处理前2个新发现的商品
python spider_v2.py --debug-limit 2

通过脚本创建新任务

prompt_generator.py脚本可以让你通过命令行快速创建新任务。

python prompt_generator.py \
  --description "我想买一台95新以上的索尼A7M4相机，预算在10000到13000元之间，快门数要低于5000。必须是国行且配件齐全。优先考虑个人卖家，不接受商家或贩子。" \
  --output prompts/sony_a7m4_criteria.txt \
  --task-name "Sony A7M4" \
  --keyword "a7m4" \
  --min-price "10000" \
  --max-price "13000"

执行后，它会自动创建新的_criteria.txt文件，并在config.json中添加并启用对应的新任务。

工作流程

1、启动主程序后读取config.json； 2、并发启动多个监控任务； 3、任务开始搜索商品； 4、若发现新商品，抓取商品详情和卖家信息，下载商品图片，再调用AI进行分析，若未发现新商品，进行翻页或等待后继续搜索商品； 5、AI分析后，若推荐该商品，发送ntfy通知，再保存记录到JSONL，若不推荐，直接保存记录到JSONL； 6、保存记录后继续搜索商品。