- 综合排序
- 最热优先
- 最新优先
- 来自专栏爬虫资料
突破技术限制：使用 request-promise 库进行美团数据获取
在这篇文章中，我们将介绍如何使用 request-promise 库来爬取美团网站的数据，以及如何使用爬虫代理IP来提高采集效率。 1. 引言 美团网站包含了大量的餐厅、商家和用户评价信息。 本文将重点介绍如何使用 request-promise 库来发送HTTP请求并解析响应。 2. 解决方案 4.1 安装依赖 首先，我们需要安装 request-promise 和其他必要的依赖： npm install request-promise cheerio 4.2 编写代码 以下是一个简单的爬虫代码示例 讨论 本文介绍了如何使用 request-promise 库来爬取美团网站的数据。 爬虫代理IP的使用可以有效避免频繁请求被封禁的问题。 总结 本文详细介绍了使用 request-promise 库爬取美团网站的技巧，以及如何使用代理IP来提高爬取效率。希望对你的爬虫项目有所帮助！
2K10编辑于 2024-04-01 异步请求在TypeScript网络爬虫中的应用
实现异步请求的代码过程以下是一个使用TypeScript编写的网络爬虫示例，该爬虫使用request-promise库发送异步HTTP请求，并在请求中加入了代理信息以增强安全性。 然后，你需要安装request-promise和@types/request-promise这两个npm包，后者为request-promise提供了TypeScript类型定义。 bashnpm install request-promisenpm install @types/request-promise --save-dev编写爬虫代码创建一个名为crawler.ts的文件 ，并编写以下代码：typescript// 导入request-promise库import request from 'request-promise';// 设置代理服务器信息const proxyHost proxyPass = "280651";// 创建一个爬虫函数async function crawler(url: string): Promise<void> { try { // 使用request-promise
1.2K10编辑于 2024-12-31- 来自专栏小程序云开发入门
小程序云函数调用http或https请求外部数据
courseId=1209499804 二，使用npm安装request-promise库 使用npm命令行之前，我们需要先安装node.js，node的安装网上搜一下就行。 2，在打开的终端中输入 npm install request-promise ? 3, request-promise安装成功的标示如下 ? 三，编写我们的云函数代码 ? // 云函数入口文件 const cloud = require('wx-server-sdk') //引入request-promise用于做网络请求 var rp = require('request-promise (err) { return '失败' }); } 到这里我就成功的在云函数里实现了http和https请求了，这里使用的是get请求，至于post请求如何使用，自己去百度下“ request-promise
4.1K20发布于 2020-10-22 - 来自专栏云开发
做好内容安全检测，和风险说「再见」！（上）
本文重点为你讲述： 内容安全检测常见应用场景及解决办法 学会使用小程序·云开发的云函数+结合request-promise第三方库实现内容请求校验 掌握如何在小程序端请求云函数（有别于传统的wx.request 的方式(类似AJax)） 在云开发的云函数端,利用第三方https请求库(request,request-promise),获取Access_token,以及向微信官方提供的内容检测接口发请求进行校验 选中云函数,右键并打开命令行终端安装request,request-promise，因为request-promise依赖于request,两个都要安装,最后一键上传部署就可以了。 接下来就是处理云函数端,使用request-promise请求请求微信内容安全接口的示例代码。 至此,通过request-promise库就完成了文本内容校验的问题。
1.9K10发布于 2020-06-03 - 来自专栏编程微刊
小程序云开发实战四：调用豆瓣API获取具体的数据
var rp = require('request-promise') 2：自定义的isbn，使用一个+号来连接，在传递一个catch来处理错误情况。 // 云函数入口文件 // const cloud = require('wx-server-sdk') // cloud.init() // 云函数入口函数 var rp = require('request-promise
2K20发布于 2020-10-29 - 来自专栏前端全栈开发者
实战：小程序云开发之在云函数中使用Router
-/node_modules ----index.js ----list.js ----detail.js ----package.json HTTP请求 HTTP请求方面，小程序云函数中常用的是 request-promise ，它是一个 Promise 分格的HTTP请求库，使用它还必须安装它的依赖，两个包都要安装 npm install --save request npm install --save request-promise 下面看看电影列表是怎么处理的，douban/list.js const rp = require('request-promise') exports.main = async (event, context 下面是电影、电视的详情页处理逻辑 const rp = require('request-promise') const cheerio = require('cheerio') exports.main
1.5K42发布于 2019-12-27 - 来自专栏前端全栈开发者
【实战】小程序云开发，云函数中使用Router（附源码）
node_modules ----index.js ----list.js ----detail.js ----package.json 2.2 HTTP请求 HTTP请求方面，小程序云函数中常用的是 request-promise ，它是一个 Promise 分格的HTTP请求库，使用它还必须安装它的依赖，两个包都要安装 npm install --save request npm install --save request-promise 下面看看电影列表是怎么处理的，douban/list.js const rp = require('request-promise') exports.main = async (event, context 下面是电影、电视的详情页处理逻辑 const rp = require('request-promise') const cheerio = require('cheerio') exports.main
1.5K31发布于 2019-12-23 - 来自专栏达达前端
微信小程序电影模板
小程序端发送wx.request() 协议支持，只支持https 是否备案，经过icp备案 域名个数限制20个 云函数 第三方库（request,got） 根据第三方库决定 可以不备案 无限制 request-promise https://youzan.github.io/vant-weapp/#/intro request npm install --save request npm install --save request-promise image.png var rp = require('request-promise'); npm install --save request npm install -g npm npm install --save request-promise { "name": "movielist", "version": "1.0.0", "description": "", "main": exit 1" }, "author": "", "license": "ISC", "dependencies": { "request": "^2.88.0", "request-promise
5.3K20发布于 2019-08-08 - 来自专栏编程微刊
小程序云开发实战二：小程序云开发云函数安装依赖步骤
https://github.com/request/request-promise 安装方法： 通过这两行命令进行安装，复制命令 npm install --save request npm install --save request-promise ok，完成，依赖已经放置在package.json文件之中了 ok，当文件上传到云端的时候，就会自动安装相关依赖了。
5.1K30发布于 2020-10-29 - 来自专栏编程微刊
小程序云开发实战四：调用豆瓣API获取具体的数据
var rp = require('request-promise') 2：自定义的isbn，使用一个+号来连接，在传递一个catch来处理错误情况。 // 云函数入口文件 // const cloud = require('wx-server-sdk') // cloud.init() // 云函数入口函数 var rp = require('request-promise
84710编辑于 2025-05-18 - 来自专栏全栈修仙之路
Node.js 小打小闹之爬虫入门
这里我们将选用 Bluebird 封装的 request-promise 库。 首先我们来安装一下依赖： $ npm i request request-promise --save 安装成功后，我们就可以来小试牛刀了： var rp = require('request-promise 解析 HTML 内容，抽取相应的文章信息 很巧的是，在 request-promise 说明文档中遇见了这个环节的主角 —— cheerio，不信你看： var cheerio = require('cheerio 小伙伴们是不是感觉棒棒哒，趁热打铁，我们先来安装一下 cheerio： $ npm install cheerio 安装成功后，马上更新一下代码： var rp = require('request-promise 下面我们定义一个 BlogSpider 类，用来实现上述两个流程： import * as rp from 'request-promise'; import * as cheerio from 'cheerio
1.3K20发布于 2019-11-05 - 来自专栏编程微刊
小程序云开发实战四：调用豆瓣API获取具体的数据
var rp = require('request-promise') 2：自定义的isbn，使用一个+号来连接，在传递一个catch来处理错误情况。 // 云函数入口文件 // const cloud = require('wx-server-sdk') // cloud.init() // 云函数入口函数 var rp = require('request-promise
3.5K10发布于 2019-01-03 - 来自专栏Fundebug
使用Fundebug API 批量上传Source Map
下面给出 Node.js 版本的代码供参考， const request = require("request-promise"); const fs = require("fs"); const options 示例代码如下： const request = require("request-promise"); const fs = require("fs"); const options = {
1.2K30发布于 2020-03-03 - 来自专栏编程微刊
小程序云开发实战二：小程序云开发云函数安装依赖步骤
https://github.com/request/request-promise 安装方法： 通过这两行命令进行安装，复制命令 npm install --save request npm install --save request-promise ?
6.4K10发布于 2019-01-03 - 来自专栏404
基于 nodejs 爬取大学城用户信息
基于 nodejs 爬取大学城用户信息 nodejs + cheerio + request-promise + mongoose 安装依赖 yarn add cheerio yarn add request-promise } module.exports = new ItemController(); 引入依赖 var request = require('request'); var rp = require('request-promise
66620编辑于 2022-04-25 - 来自专栏我是前端
【SCF VS Code 实践：利用SCF和COS免费24小时监测比特币价格并邮件通知预警】
最好远离币圈 语言环境：Node.js8.9 云服务： 云函数 SCF 对象储存 COS 第三方模块： cos-nodejs-sdk-v5 (COS的NodeSDK) request（请求API） request-promise "sell": "0" } } TIM截图20190927184233.png 进入函数文件夹通过NPM安装所需要的模块 npm i cos-nodejs-sdk-v5 request request-promise 接下来就是修改代码正文，所有代码都在index.js里面，直接覆盖 'use strict' const COS = require('cos-nodejs-sdk-v5') const rq = require('request-promise
3.5K11发布于 2019-09-27 - 来自专栏编程微刊
小程序云开发实战二：小程序云开发云函数安装依赖步骤
https://github.com/request/request-promise 安装方法： 通过这两行命令进行安装，复制命令 npm install --save request npm install --save request-promise ok，完成，依赖已经放置在package.json文件之中了 ok，当文件上传到云端的时候，就会自动安装相关依赖了。
87300编辑于 2025-05-18 利用Node.js实现拉勾网数据爬取
2.2 工具选择 request/request-promise：用于发送网络请求，获取网页内容。 cheerio：用于解析HTML文档，提取需要的数据。 发送请求：使用request或request-promise模块发送请求，获取职位列表的JSON数据或HTML文档。
48110编辑于 2024-04-01- 来自专栏iSharkFly
NodeJS 导入包的时候出现的 @types 错误导致程序无法运行
在这个文件中，我们会看到 "_requiredBy": [ "/@types/request-promise" ], 这个就是让 @types/bluebird 导入的元凶了，因为这个类型是 因此，针对这个问题，我们最简单的办法就是将 /@types/request-promise 从你的包的依赖中删除。 这样就能解决我们上面遇到的问题了。
2.5K20发布于 2021-11-10 - 来自专栏小程序·云开发专栏
用云开发实现小程序订阅消息配置
appid跟secret填你自己的即可， 由于订阅消息需要access_token，所以在使用订阅消息接口前要先获取access_token，这里我把他们都放在一个云函数里了 新建好后要安装依赖，这里用到了request-promise 模块，所以要在该目录下npm install request-promise 代码如下 [format,png#pic_center] [format,png#pic_center] 页面调用 [format
1.6K52发布于 2019-10-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号