前言 可能很多人都已经写过爬虫了，但是不一定都知道superagent这个爬虫利器，写这篇文章的目的是通过一个具体项目，推荐大家以后写爬虫的时候可以用用superagent，真的超级好用。

介绍 这是一个基于Koa2和superagent实现的英语四六级成绩查询系统，项目使用superagent爬取学信网的数据，然后使用cheerio解析数据，最后将爬取到的结果以JSON或者JSONP的方式返回给前台。

预览 在线预览地址: https://cet.lenshen.com 测试用户 姓名：汪磊 准考证号：360021162100112

源码：https://github.com/lensh/koa2-cet

技术栈 Angular：实现前端页面构建 Koa2：实现服务端具体业务逻辑 ES6、ES7、ES8：服务端使用ES6语法，promise/async/await 处理异步 superagent：爬虫的核心，进行模拟请求 cheerio：解析DOM结构，爬取需要的数据 cors：服务端返回数据时做了cors设置，允许跨域 jsonp：支持JSONP请求，客户端需要传入回调函数名称 pm2：服务端使用pm2部署，常驻进程，比forever好用得多（https://github.com/Unitech/pm2）

API接口 本系统免费提供API接口，具体接口如下所示: URL: https://cet.lenshen.com/api/search?user=姓名&number=准考证号 参数说明： user 姓名 number 准考证号 请求方式: GET 请求成功返回json: { “code”:200, “message”:“查询成功”, “data”:{ “name”:“张三”, //姓名 "school":“南昌大学”, //学校 "type":“英语六级”, //考试类别 "number":“360021162347654”, //准考证号 "total":“530”, //总分 "listen":“170”, //听力 "read":“200”, //阅读 "writing":“160” //写作和翻译 } } 请求失败返回json: { “code”:400, “message”:“查询失败，请检查你的信息是否无误” } 注意：以上接口可以使用后台代理请求数据，也可以使用ajax请求数据（因为设置了cors）

如果使用JSONP，则需要在url里传入callback：

URL:https://cet.lenshen.com/api/search?callback=cb&&number=准考证号&user=姓名 参数说明：
callback 回调函数名称 user 姓名 number 准考证号 请求方式: GET 请求成功返回jsonp: cb({ “code”:200, “message”:“查询成功”, “data”:{ “name”:“张三”, //姓名 "school":“南昌大学”, //学校 "type":“英语六级”, //考试类别 "number":“360021162347654”, //准考证号 "total":“530”, //总分 "listen":“170”, //听力 "read":“200”, //阅读 "writing":“160” //写作和翻译 } }) 请求失败返回jsonp: cb({ “code”:400, “message”:“查询失败，请检查你的信息是否无误” })

最后 如果觉得这个项目还不错的话，那就毫不吝啬地给个star吧。