首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >C++并发GET请求

C++并发GET请求
EN

Stack Overflow用户
提问于 2009-04-30 21:51:15
回答 2查看 2.5K关注 0票数 2

我正在编写一个C++应用程序,并且希望通过HTTP请求同时请求多个数据文件,我应该从哪里开始(需要跨平台)。

  1. 运行应用程序
  2. 创建一个URL列表{ "http://host/file1.txt“、"http://host/file2.txt”、"http://host/file3.txt"}
  3. 同时请求所有URL并将内容加载到变量(不希望磁盘写入)。每个文件大约有10 of的数据。

你推荐我使用哪些图书馆?胡言乱语?科普?提升asio?我需要滚动我自己的多线程请求所有文件同时?有更简单的方法吗?

编辑:我需要同时请求大约1000个GET请求。我很可能会分批完成这个任务(每次100次,并在完成时创建更多的连接)。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2009-04-30 21:58:41

我推荐利伯尔。我不太熟悉它,但它确实有一个多界面来执行多个同时进行的HTTP操作。

根据您使用的解决方案,可以不使用多线程执行异步I/O。关键是使用select(2)系统调用。select()接受一组文件描述符,并告诉您其中是否有可用的数据。如果他们这样做了,那么您可以继续对它们使用read(2)recv(2),而不必担心阻塞。

票数 4
EN

Stack Overflow用户

发布于 2009-04-30 22:13:55

Web浏览器通常维护一个工作线程池来进行下载,并在它们免费的时候将下载分配给它们。IIRC HTTP有一些关于您应该同时连接到同一台服务器的多个同时连接的问题:太多的连接是粗鲁的。

如果有几个请求指向同一个服务器,并且支持保持存活(几乎每个人都这样做),那么这可能比发送多个同时请求的垃圾邮件更好。一般的想法是,对多个请求串联使用一个TCP/IP连接,从而节省握手开销。在我实现Java类的经验中,实际的结果是您引入了一个微妙的bug,当您为一个新的请求重用连接时,不总是正确地清除状态,并且花费大量的时间盯着日志记录/嗅探数据;)

libcurl当然支持“保持活动”(我认为在默认情况下启用)。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/809289

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档