当前位置:首页 > 修改聊天记录 > 正文内容

如何使用Apify进行数据采集?

网页编辑4个月前 (04-27)修改聊天记录217
下面用零代码、最快速的方式,带你完整走一遍 Apify 采集数据流程(从注册到导出,约 3 分钟)。

1. 注册并登录 Apify

  1. 打开官网:https://apify.com

  2. 用邮箱注册,免费版每月有额度,不用绑卡

    image

2. 在 Apify Store 选爬虫(Actor)

  1. 进入 Store(顶部菜单)。

    image
  2. 搜索目标网站 / 用途,例如:

    • Amazon → 商品 / 评论爬虫

    • Google Maps → 商家信息

    • Web Scraper → 通用动态页采集Apify

  3. 选一个评分高、使用人数多的,点 Try for free / Create taskApify


3. 配置采集参数(重点)

Web Scraper(通用爬虫) 为例:
image

Input 填写

  • Start URLs:要爬的网页,一行一个

    示例:

    plaintext
    https://example.com
    https://example.com/page2
  • Page function(核心:告诉 Apify 要抓什么)

    最简单写法(抓标题、URL):

    javascript
    运行
    async function pageFunction(context) {
        const { request, $ } = context;
        return {
            url: request.url,
            title: $('title').text()
        };}
image

常用设置(Options)

  • Max pages per run:限制采集页数,避免跑太多Apify

  • Proxy configuration

    • 高反爬网站 → 选 Apify Proxy(自动轮换 IP)。

      image
  • Wait for:动态页可设置 wait: 3000(等 3 秒加载)。


4. 运行任务

  1. Start → 任务进入队列,云端运行。

  2. 页面会实时显示:

    • 已爬页数、成功 / 失败数

    • 日志预览(可看是否被反爬)Apify

      image

5. 查看并导出数据

  1. 运行结束后,进入 Dataset(结果集)。

  2. 可在线预览表格,也可导出:

    • CSV(Excel 可开)

    • JSON

    • Excel

  3. 一键下载到本地,或同步到 Google Sheets、Make.com 等。


6. 进阶:定时 / 长期采集

  • 保存当前配置为 Task,下次一键复用。

  • 开启 Schedule:按小时 / 天 / 周自动跑,适合价格监控、舆情跟踪。


快速示例:爬商品名称 + 价格

用 Web Scraper,pageFunction 写:
javascript
运行
async function pageFunction(context) {
  const { $ } = context;
  const products = [];
  $('.product').each((i, el) => {
    products.push({
      name: $(el).find('.name').text().trim(),
      price: $(el).find('.price').text().trim()
    });
  });
  return products;}

小提醒(合规)

  • 只爬公开、非隐私数据,遵守网站 robots.txt

  • 控制频率,避免给对方服务器造成压力。


扫描二维码推送至手机访问。

版权声明:本文由手机数据加工厂发布,如需转载请注明出处。

本文链接:https://www.gaijilu.com/?id=109

“ 如何使用Apify进行数据采集?” 的相关文章

教您如何将微信聊天记录导出成html等格式

教您如何将微信聊天记录导出成html等格式

可以将微信中的聊天记录(包括文字、图片、语音、表情包甚至拍一拍)导出,方便我们随时分享和查看,此外还有聊天记录分析等有趣的功能,感兴趣的小伙伴可以研究一下。我个人认为导出成htmf是最方便的一种格式,数据导出后点开文件夹中后缀名为.html文件就可以在浏览器中查看所有的聊天记录啦。...

微信可查“谁把我删了”?微信上线新功能,有门槛,如何查找单删

微信可查“谁把我删了”?微信上线新功能,有门槛,如何查找单删

微信正在进行一项新功能内测——可以查看已删除自己的联系人/好友,并可以选择性筛选与删除。多名网友晒出的截图显示,微信提示“通讯录联系人数量已达上限,可删除部分联系人后继续添加”,并给出几个联系人选项,用户可直接删除或选择“换一换”。10月23日下午,微信方面向记者确认了此事,据微信方面透露,“微信用...

地震突然来临怎么办?手机上这个设置关键时刻能保命,不同机型方法汇总→

地震突然来临怎么办?手机上这个设置关键时刻能保命,不同机型方法汇总→

今天,甘肃定西市陇西县(北纬34.91度,东经104.58度)发生5.6级地震,震源深度10千米。“中国地震台网”全国地震预警微信小程序向周边49万用户推送了预警信息。如何设置地震预警?地震预警功能非常重要,提前几秒钟的预警都是紧急避险的宝贵时间。如何第一时间接收到地震预警信息?第一步:微信搜索“国...

微信、支付宝、网购订单模拟生成截图软件

微信、支付宝、网购订单模拟生成截图软件

通过简单的设置,可以方便的生成您想要的截图。如微信对话、微信转账、微信红包、微信钱包、微信零钱、支付宝聊天对话、支付宝转账等强大功能 。有了这款软件用户可以随意编辑截图,包括聊天内容,手机壁纸,甚至是转账截图,都可以进行自定义的调整,为大家的生活提供了更多的便利。复制链接到浏览器打开,注册、下载安装...

手机与电脑如何传递数据

手机+电脑 极简传文件速查表(直接照做,保存备忘录) 一、通用懒人(所有手机+电脑,小文件) 微信/QQ文件传输助手 1. 手机、电脑登录同一账号 2. 互相发送图片、文档、截图 3. 缺点:视频、图片会压缩,大文件慢 二、有线极速(原图/大视频/无压缩,推荐) 安卓 + 电...

有哪些软件可以实现手机和电脑之间的高效数据管理?

有哪些软件可以实现手机和电脑之间的高效数据管理?

下面按「苹果生态 / 安卓+Windows / 全平台通用」三类,给你整理**真正能落地、高效不乱的手机↔电脑数据管理软件**,每款讲清楚:**能干啥、适合谁、优缺点**。 --- ## 一、iPhone + Mac(苹果生态最优) ### 1. 系统自带:隔空投送 + 访达(免费,首...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。