基于node.js制作简单爬虫教程

前言：最近想学习node.js,突然在网上看到基于node的爬虫制作教程，所以简单学习了一下，把这篇文章分享给同样初学node.js的朋友。

目标：爬取 http://tweixin.yueyishujia.com/webapp/build/html/ 网站的所有门店发型师的基本信息。

思路：访问上述网站，通过chrome浏览器的network对网页内容分析，找到获取各个门店发型师的接口，对参数及返回数据进行分析，遍历所有门店的所有发型师，直到遍历完毕，同事将信息存储到本地。

步骤一：安装node.js

下载并安装node，此步骤比较简单就不详细解释了，有问题的可以直接问一下度娘。

步骤二：建立工程

1）打开dos命令条，cd进入想要创建项目的路径（我将此项目直接放在了E盘，以下皆以此路径为例）；

2）mkdir node （创建一个文件夹用来存放项目，我这里取名为node）；

3）cd 进入名为node的文件夹，并执行npm init初始化工程（期间会让填写一些信息，我是直接回车的）；

步骤三：创建爬取到的数据存放的文件夹

1）创建data文件夹用来存放发型师基本信息；

2）创建image文件夹用来存储发型师头像图片；

　　此时工程下文件如下：　

步骤四：安装第三方依赖包（fs是内置模块，不需要单独安装）

1）npm install cheerio –save

2）npm install superagent –save

3）npm install async –save

4）npm install request –save

分别简单解释一下上面安装的依赖包：

cheerio：是nodejs的抓取页面模块，为服务器特别定制的，快速、灵活、实施的jQuery核心实现，则能够对请求结果进行解析，解析方式和jQuery的解析方式几乎完全相同；

superagent：能够实现主动发起get/post/delete等请求；

async：async模块是为了解决嵌套金字塔,和异步流程控制而生，由于nodejs是异步编程模型，有一些在同步编程中很容易做到的事情，现在却变得很麻烦。Async的流程控制就是为了简化这些操作；

request：有了这个模块，http请求变的超简单，Request使用简单，同时支持https和重定向； 

步骤五：编写爬虫程序代码

打开hz.js，编写代码：

var superagent = require('superagent'); 
var cheerio = require('cheerio');
var async = require('async');
var fs = require('fs');
var request = require('request');
var page=1; //获取发型师处有分页功能，所以用该变量控制分页
var num = 0;//爬取到的信息总条数
var storeid = 1;//门店ID
console.log('爬虫程序开始运行......');

function fetchPage(x) {   //封装函数
  startRequest(x); 
}
function startRequest(x) {

  superagent
    .post('http://tweixin.yueyishujia.com/v2/store/designer.json')
    .send({ 
      // 请求的表单信息Form data
      page : x, 
      storeid : storeid
    })
      // Http请求的Header信息
    .set('Accept', 'application/json, text/javascript, */*; q=0.01')
    .set('Content-Type','application/x-www-form-urlencoded; charset=UTF-8')
    .end(function(err, res){     
      // 请求返回后的处理
      // 将response中返回的结果转换成JSON对象
      if(err){
        console.log(err);
      }else{
        var designJson = JSON.parse(res.text);
        var deslist = designJson.data.designerlist;
        if(deslist.length > 0){
          num += deslist.length;
          // 并发遍历deslist对象
          async.mapLimit(deslist, 5, 
            function (hair, callback) {
            // 对每个对象的处理逻辑
               console.log('...正在抓取数据ID：'+hair.id+'----发型师:'+hair.name);
               saveImg(hair,callback);
            }, 
            function (err, result) {
              console.log('...累计抓取的信息数→→' + num);
            }
          );
          page++;
          fetchPage(page);
        }else{
          if(page == 1){
            console.log('...爬虫程序运行结束~~~~~~~');
            console.log('...本次共爬取数据'+num+'条...');
            return;
          }
          storeid += 1;
          page = 1;
          fetchPage(page);
        }
      }
    });
} 
fetchPage(page);
function saveImg(hair,callback){
  // 存储图片
  var img_filename = hair.store.name+'-'+hair.name + '.png';

  var img_src = 'http://photo.yueyishujia.com:8112' + hair.avatar; //获取图片的url

  //采用request模块，向服务器发起一次请求，获取图片资源
  request.head(img_src,function(err,res,body){
    if(err){
      console.log(err);
    }else{
        request(img_src).pipe(fs.createWriteStream('./image/' + img_filename));   //通过流的方式，把图片写到本地/image目录下，并用发型师的姓名和所属门店作为图片的名称。
        console.log('...存储id='+hair.id+'相关图片成功！');
    }
  });
  // 存储照片相关信息
  var html = '姓名：'+hair.name+'<br>职业：'+hair.jobtype+'<br>职业等级：'+hair.jobtitle+'<br>简介：'+hair.simpleinfo+'<br>个性签名：'+hair.info+'<br>剪发价格：'+hair.cutmoney+'元<br>店名：'+hair.store.name+'<br>地址：'+hair.store.location+'<br>联系方式：'+hair.telephone+'<br>头像：<img src='+img_src+' style="width:200px;height:200px;">';
  fs.appendFile('./data/' +hair.store.name+'-'+ hair.name + '.html', html, 'utf-8', function (err) {
    if (err) {
      console.log(err);
    }
  });
  callback(null, hair);
}

步骤六：运行爬虫程序

输入node hz.js命令运行爬虫程序，效果图如下：

运行成功后，发型师基本信息以html文件的形式存储在data文件夹中，发型师头像图片存储在image文件夹下：

 后记：到此一款基于node.js制作的简单爬虫就大功告成了，由于我也是初学者，好多地方也不是很理解，但好在是自己完成了，不足之处敬请谅解。

代码下载地址：https://github.com/yanglei0323/nodeCrawler

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

# node.js  # 爬虫  # node.js实现简单爬虫示例详解  # node.js做一个简单的爬虫案例教程  # node.js爬虫框架node-crawler初体验  # Node.js爬虫如何获取天气和每日问候详解  # 基于node.js实现爬虫的讲解  # node.js学习笔记之koa框架和简单爬虫练习  # 浅谈Node.js爬虫之网页请求模块  # 使用 Node.js 开发资讯爬虫流程  # 利用node.js写一个爬取知乎妹纸图的小爬虫  # node.js爬虫爬取拉勾网职位信息  # Node.js 实现简单爬虫的示例代码  # 发型师  # 门店  # 遍历  # 分页  # 我是  # 放在  # 下载地址  # 不需要  # 就不  # 不是很  # 相关图片  # 会让  # 相关信息  # 大功告成  # 可以直接  # 我将  # 为例  # 写到  # 这篇文章  # 第三方 

相关文章： 建站之家VIP精选网站模板与SEO优化教程整合指南  家具网站制作软件,家具厂怎么跑业务？  番禺网站制作公司哪家值得合作,番禺图书馆新馆开放了吗？  建站之星代理平台如何选择最佳方案？  较简单的网站制作软件有哪些,手机版网页制作用什么软件？  深圳网站制作的公司有哪些,dido官方网站？  高防网站服务器：DDoS防御与BGP线路的AI智能防护方案  Swift中switch语句区间和元组模式匹配  浙江网站制作公司有哪些,浙江栢塑信息技术有限公司定制网站做的怎么样？  建站org新手必看：2024最新搭建流程与模板选择技巧  动图在线制作网站有哪些,滑动动图图集怎么做？  在线教育网站制作平台,山西立德教育官网？  如何通过云梦建站系统实现SEO快速优化？  宠物网站制作html代码,有没有专门介绍宠物如何养的网站啊？  广州顶尖建站服务：企业官网建设与SEO优化一体化方案  网站设计制作企业有哪些,抖音官网主页怎么设置？  建站之星在线客服如何快速接入解答？  如何在IIS中新建站点并解决端口绑定冲突？  官网自助建站平台指南：在线制作、快速建站与模板选择全解析  如何在西部数码注册域名并快速搭建网站？  公众号网站制作网页,微信公众号怎么制作？  高端网站建设与定制开发一站式解决方案 中企动力  阿里云网站搭建费用解析：服务器价格与建站成本优化指南  如何通过wdcp面板快速创建网站？  如何通过NAT技术实现内网高效建站？  网站设计制作公司地址,网站建设比较好的公司都有哪些？  如何自己制作一个网站链接,如何制作一个企业网站，建设网站的基本步骤有哪些？  深圳网站制作培训,深圳哪些招聘网站比较好？  东莞专业网站制作公司有哪些,东莞招聘网站哪个好？  阿里云高弹*务器配置方案｜支持分布式架构与多节点部署  如何用低价快速搭建高质量网站？  如何在阿里云ECS服务器部署织梦CMS网站？  免费制作海报的网站,哪位做平面的朋友告诉我用什么软件做海报比较好?ps还是cd还是ai这几个软件我都会些我是做网页的？  南阳网站制作公司推荐,小学电子版试卷去哪里找资源好？  网站制作公司排行榜,抖音怎样做个人官方网站  如何通过可视化优化提升建站效果？  SQL查询语句优化的实用方法总结  宿州网站制作公司兴策,安徽省低保查询网站？  建站之星后台搭建步骤解析：模板选择与产品管理实操指南  如何解决VPS建站LNMP环境配置常见问题？  如何在Golang中实现微服务服务拆分_Golang微服务拆分与接口管理方法  陕西网站制作公司有哪些,陕西凌云电器有限公司官网？  如何在阿里云通过域名搭建网站？  建站主机选哪种环境更利于SEO优化？  济南专业网站制作公司,济南信息工程学校怎么样？  唐山网站制作公司有哪些,唐山找工作哪个网站最靠谱？  制作网站的软件下载免费,今日头条开宝箱老是需要下载怎么回事？  如何通过智能用户系统一键生成高效建站方案？  建站之星如何实现网站加密操作？  如何用IIS7快速搭建并优化网站站点？