Amazon 数据爬虫技能

技能描述

爬取 Amazon 商品数据，生成结构化报告（Markdown + Excel）。支持商品搜索、数据提取、品牌分析、爆款识别。

适用场景：

电商选品调研
竞品价格监控
爆款商品分析
市场趋势研究

安装方法

方法 1：ClawHub 安装（推荐）

# 访问 ClawHub 页面
https://clawhub.ai/zuokun300/amazon-scraper

# 或使用 CLI 安装
clawhub install zuokun300/amazon-scraper

方法 2：手动安装

# 1. 克隆技能到 workspace
git clone https://github.com/zuokun300/amazon-scraper.git ~/.openclaw/workspace/skills/amazon-scraper

# 2. 安装依赖
pip3 install openpyxl requests --break-system-packages

# 3. 配置 Apify API Key
export APIFY_API_KEY="apify_api_xxxxx"

使用方法

基础用法

对 OpenClaw 说：

帮我爬取 Amazon 上的 "women fashion shoes"，生成 Excel 报告

高级用法

帮我爬取 Amazon 上的 "[关键词]"，需要：
- 抓取前 50 个商品
- 提取价格、评分、评论数
- 生成 Excel 和 Markdown 报告
- 分析品牌分布

自定义参数

# 修改脚本中的参数
KEYWORDS = ["women fashion shoes", "men sneakers"]
MAX_PRODUCTS = 50
OUTPUT_DIR = "/path/to/output"

输出文件

1. Excel 报告 (`amazon-data.xlsx`)

包含两个 Sheet：

Sheet 1: 商品数据

列名	说明
排名	搜索排名
商品名称	完整标题
品牌	自动识别的品牌
类型	商品分类
ASIN	Amazon 标准 ID
价格	当前价格（需深度爬取）
图片链接	可点击的主图链接
Amazon 链接	可点击的商品页链接

Sheet 2: 统计摘要

品牌分布统计
价格区间分析
爆款识别

2. Markdown 报告 (`amazon-report.md`)

包含：

数据概览
爆款商品列表（表格）
商品详情链接

配置说明

Apify API Key

获取方法：

访问 https://console.apify.com/signup 注册
登录后访问 https://console.apify.com/account/integrations
复制 API Key

配置方式：

# 方式 1：环境变量
export APIFY_API_KEY="apify_api_xxxxx"

# 方式 2：修改脚本
APIFY_TOKEN = "apify_api_xxxxx"

免费额度： $5（约 500-1000 次商品爬取）

依赖项

openpyxl>=3.0.0
requests>=2.28.0

示例输出

爆款商品表格

排名	商品	品牌	类型	ASIN
1	adidas Women's VL Court 3.0	Adidas	Sneaker	B0C2JY169J
2	Adokoo Women's Fashion Sneakers	Adokoo	Sneaker	B0CH9FJY8V
3	Adidas Women's Vl Court 3.0	Adidas	Sneaker	B0F1XH7M8F

品牌分布统计

品牌	商品数量	占比
Adidas	7	35%
ODOLY	6	30%
LUCKY STEP	5	25%

进阶功能

1. 深度爬取（价格/评分/销量）

# 启用深度爬取模式
python3 amazon_scraper.py --deep

额外数据：

当前价格
用户评分（1-5 星）
评论总数
销量排名（BSR）
高清商品图片

2. 定时监控

# 配置 cron 每天执行
0 3 * * * python3 /path/to/amazon_scraper.py

用途：

价格变化监控
新品上架提醒
竞品动态追踪

3. 多关键词批量爬取

KEYWORDS = [
    "women fashion shoes",
    "men sneakers",
    "kids boots",
    "running shoes"
]

注意事项

1. API 成本

Apify 免费额度：$5/月
单次爬取成本：约 $0.002/商品
建议：合理控制爬取数量

2. 反爬措施

Amazon 反爬严格，建议使用 Apify 等专业服务
不要高频爬取同一关键词
遵守 Amazon 服务条款

3. 数据准确性

价格可能实时变化
销量为估算值（基于评论数推算）
建议定期更新数据

常见问题

Q: 为什么有些商品价格显示"待爬取"？

A: 基础模式只抓取搜索页数据，价格需要访问商品详情页。使用 --deep 参数启用深度爬取。

Q: Apify 运行失败怎么办？

A: 检查：

API Key 是否正确
网络连接是否正常
Apify 账户是否有余额

Q: 如何自定义输出格式？

A: 修改 generate_excel() 和 generate_report() 函数，调整列名和样式。

更新日志

v1.0.0 (2026-03-03)

✅ 基础爬取功能
✅ Excel + Markdown 报告生成
✅ 品牌分布统计
✅ 可点击链接

TODO

深度爬取（价格/评分/销量）
图片下载功能
多语言支持
定时监控告警

作者与许可

作者: Elden (@zuokun300)
许可: MIT License
问题反馈: https://github.com/zuokun300/amazon-scraper/issues

Amazon Scraper

Description