回答情况：
提问时间：
问题标签：
我正在为一个客户建立一个亚马逊附属网站，使用亚马逊产品API从他们的目录中获取数据。我需要关于如何去对待其他搜索引擎爬虫机器人的建议。有什么好方法可以尽可能地避免由于机器人爬行而超过亚马逊的API速率限制？
浏览 17提问于2016-09-16得票数 1
我的爬虫正在抓取所有网站并从中获取元数据信息。然后，我将运行一个脚本来清理URL并将它们存储在Amazon RDS中。我不希望爬虫击中亚马逊RDS，这会减慢它的速度。
我应该使用亚马逊SimpleDB吗？然后，我可以读取SimpleDB，对网址进行杀毒，然后将其移动到Amazon RDS。
浏览 1修改于2012-03-22得票数 3
回答已采纳
API-1生成一个巨大的数据集，类似于我的最终目标是找到最有效的方法将这些数据传输到API我发现了两种方法：有没有办法像字节一样
浏览 4修改于2022-01-27得票数 0
回答已采纳
我使用亚马逊云托管我的网站。在过去的三个月里，我收到了来自亚马逊团队的邮件，说网络流量很高。在收到邮件后，我们正在使我们的实例更安全，代码更清晰。当我检查这个的时候，我可以看到一个像这样的帖子，上面说谷歌爬虫可能导致了攻击。当我检查访问日志时，我可以看到已经从bot本地主机(127.0.0.1)和外部ip访问了robots.txt。谁能让我确定这个附件是由于谷歌爬虫或不？
浏览 1提问于2015-01-01得票数 0
谷歌网站管理员指南解释说，web服务器应该处理包含_escaped_fragment_的url请求(爬虫将www.example.com/ajax.html#!mystate修改为url
我的网站位于亚马逊S3上，我没有web服务器来处理此类请求。我如何才能确保爬虫获得提要，我的网站获得索引？
浏览 0提问于2012-10-09得票数 6
使用我从API-1获得的两个cookie，然后我需要调用下一个API (让我们称它为API-2)来获得zip文件。当我尝试调用API-1来获取Postman rest client中的cookie，然后键入Chrome上API-2的URL时，我能够开始下载zip文件。这里没有身份验证错误，因为我在运行API-2之前运行API-1时已经得到了存储在Chrome中的cookie。现在我的问题是，如何确保可以创建一个链接(API-2的URL)，并在用户单击该链接时传递cookie。我希望用户能够下载压缩文件后，他点击了链接。需要
浏览 1提问于2016-04-19得票数 0
然后我有另一个API (#API-2)，它存储实体的内存中副本。这个#API-2必须订阅这些事件才能更新其本地缓存。#API-2将有多个正在运行的实例，比方说3。如何配置#API-2，使所有实例都接收相同的消息
services.AddMassTransit(x => x.UsingRabbitMq();消费者配置(#API-2):
services.AddMas
浏览 4提问于2020-12-02得票数 0
回答已采纳
"APIs": { "API-2": "http://localhost现在我需要访问Student.razor页面中的API-1和API-2值。我试着这样使用它..
浏览 12修改于2020-07-04得票数 1
回答已采纳
问题我需要的是用about.html文件的预呈现版本来回答这个请求。我已经用Phantom.js完成了这个预呈现，但是我不能为爬虫提供正确的文件，因为S3没有重写规则。.*)$ /snapshots/$1.html break; }
但在亚马逊S
浏览 3提问于2015-09-07得票数 6
回答已采纳
我想知道是否有任何方法，我可以抓取客户评论的特定产品从亚马逊，而不被封锁。现在，我的爬虫几次就被堵住了。任何想法都会感激的。
浏览 0提问于2017-05-25得票数 2
在其中一轮中，我被问到了以下问题： 如果有一个服务(API-1)调用另一个服务API-2(它与DB交互并更新数据)。例如，如果API-1将$500作为请求传递给API-2，以在DB金额中进行某些扣除(考虑cashapp或paypal的用例)，并且API-2由于某种原因而失败(可能是网络错误、超时错误或任何其他原因)。API-1还是API-2？我们该如何处理呢？
浏览 21提问于2021-03-26得票数 0
我需要把这个输出作为API-2的输入。
我使用了这个@body('My_Action_Name')和@{body('Action_Name')}。但是它只是作为输出返回给我的API-2。
浏览 3提问于2016-04-28得票数 0
回答已采纳
I hit API-2 ... it gives me the response plus the previous response.提前谢谢。这是API-2，它返回上一个API-1的响应。
浏览 0修改于2020-05-05得票数 1
FE通过其BFF调用API
上面的API-1和API-2是两个spring API，对于这个问题，我假设BFF将jwt令牌传递给API-1，API-1也遵循建议的过程来验证令牌。我的问题是，建议API-1获取请求标头中的令牌，并使用spring特性将其传递给API-2。(目前，我使用线程-局部变量来促进这一点，即在请求筛选器中，我将接收到的头添加到线程本地，然后执行其逻
浏览 3修改于2021-08-04得票数 2
1回答
我用python编写了一个爬行过程，它运行在亚马逊上的一个ec2实例上。我已经编写了这个爬虫，这样它就可以用它的结果向一个单独的"hub“实例报告。集线器处理爬虫的结果，爬虫可以自由地继续爬行。我在这个爬行实例中想到的是，克隆爬虫的几个实例很容易，每个实例都要向中心报告以便处理。
有冗余，所以如果一个爬虫被挂断，其余的爬虫可以继续工
浏览 2修改于2015-01-08得票数 0
回答已采纳
基本上，爬虫在网站上运行的频率很高，导致负载增加。这会导致带宽消耗，从而给其他人带来糟糕的用户体验。我想知道像谷歌、亚马逊和电子海湾这样的网站是如何防止这些事情的：
它们如何区分有用的爬虫(google/yahoo/msn)和不遵循robots.txt和其他规则的恶意爬虫？
浏览 0修改于2011-10-14得票数 0
我想建立一个与scrapy亚马逊爬虫。我不明白为什么..。rotating_proxies.middlewares.RotatingProxyMiddleware': 610,}
我有1000个代理，大多数都没有死，几乎都在另一个爬虫上工作，但几轮后就不在<
浏览 18提问于2019-11-07得票数 1
我做了一个抓取网络爬虫，可以刮亚马逊。它可以通过使用关键字列表搜索项目，并从结果页面中刮取数据。有谁知道如何以这种方式刮一个网站吗？谢谢。
浏览 4提问于2020-12-14得票数 0
回答已采纳
我正在使用亚马逊网络服务创建一条数据传输线，我的数据存储在亚马逊S3存储桶中，我计划使用胶水爬虫在前缀下抓取数据以提取元数据，并在胶水作业之后执行ETL并将数据保存到另一个存储桶中。有没有可能通过公共互联网将数据从亚马逊S3移动到胶水？ 是否有任何指向aws文档的链接，用于解释AWS服务在它们之间传输数据时使用哪些网络？
浏览 18修改于2021-06-29得票数 1
立即调用API-2提交从API-1接收的数据。
假设API-2需要20秒，API-1也在20秒后被调用.如何使API-2调用异步，使其不必等待API-2响应？public class SomeData publi
浏览 4修改于2016-08-12得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号