跨境电商商品采集skill来了，可部署openclaw

宇乐

最近openclaw养龙虾的热潮带动了skill的爆发，github上各种skill层出不穷，可以解决繁杂的办公自动化任务，比如生成ppt、运营媒体账号、审查代码等，skill已经成为ai时代的“万能软件”。


刚好有个朋友是做跨境3D打印业务，平时需要分析相关3D打印商品价格趋势，我帮他写个可以用于采集跨境电商商品的skill，部署在openclaw里，能通过钉钉对话输入商品关键词，自动采集对应的商品信息，完全不需要再写任何代码。

最终实现的核心功能有2个：

1、输入关键词获取商品信息

2、ai自动分析商品，返回分析报告




这个skill的核心是amazon商品采集功能，我是通过亮数据的Scraper APIs实现的，通过python requests进行访问，能实现无障碍的商品信息采集。

这里简单介绍下亮数据的Scraper APIs，它把amazon等网站平台采集功能封装到一个接口了，且内置了ip代理池、验证码解锁器、动态网页解析等爬虫技术，不需要再通过代码脚本去处理，基本可以实现一键采集。


创建这个skill还需要两个工具，一个是trae或者vscode编辑器，另一个是Anthropic发布的用于创建skill的skill，名字叫作skill-creator，你可以在github中找到它。

接下来是详细的实现步骤。

登录亮数据，获取key
因为亮数据需要key才能请求数据，所以第一步先登陆获取key
https://get.brightdata.com/w3h8e


找到Web Scrapers Library，获取API
亮数据后台有专门的采集库，需要找到amazon平台的api，获取Python采集代码。


这次skill是根据关键词来搜索商品，所以选择对应的api，复制保存该python采集代码，后续会用到。


因为亮数据采集的数据会保存在云服务快照中（临时存储），每次采集后还需要下载快照中的数据集（csv或者json格式），也需要复制保存该下载代码。


配置Trae和skill-creator技能
Trae是代码编辑器，安装配置都很简单，这里不多说了。

skill-creator是专门用来创建skill的技能，推荐使用Anthropic发布的，更加可靠好用。


可以从github下载该skill压缩包，然后配置到Trae中。

创建amazon-product-scraper技能
做好准备工作后，开始创建用于采集amazon商品的skill，在Trae中新建文件夹，放入之前亮数据中复制的代码，采集脚本为scraper.py，下载脚本为dowload.py。

在ai对话框中输入创建skill的指令，如下：

利用skill creator创建一个skill，用于采集亚马逊的商品数据，可以让用户直接通过关键词搜索商品，并整理成结构化的md文档或csv表格。文件中有两个脚本供参考， scraper.py 负责请求下载数据， dowload.py 负责下载快照的数据集。

这样ai会自动调用skill-creator技能，来创建新的skill。



创建好skill后，便会看到一个新建的amazon-product-scraper文件夹，里面有个SKILL.md文件，这便是新的技能。



将skill配置到openclaw中
创建好amazon-product-scraper skill后，再配置到openclaw中，首先你得自己的小龙虾，然后将SKILL.md文件扔给它，并让它创建skill。


openclaw会自动部署该skill，并让你配置亮数据的API key。


接下来，就是见证奇迹的时刻，我们输入命令，让它“搜索amazon中3d printer相关的商品”。


openclaw会调用skill采集amazon上3D打印相关的商品数据，并返回csv和md格式文件。



openclaw会调用skill采集amazon上3D打印相关的商品数据，并返回csv和md格式文件。


数据集如下，商品相关字段有60多个，比如商品名称、价格、销量、url等等，非常详细。


这样就搭建好了一个完整的跨境电商商品采集skill，且通过openclaw能自动化运行，想搜索什么商品就能快速得到数据集。

这里用到的核心技术是亮数据的采集接口，能直接采集的amazon等平台的数据集，不需要配置复杂的爬虫代码，大大简化了网页数据采集复杂度。

下面注册应该有试用金可以领，采集测试数据够用了。

https://get.brightdata.com/w3h8e