我正在编写一个C++应用程序,并且希望通过HTTP请求同时请求多个数据文件,我应该从哪里开始(需要跨平台)。
你推荐我使用哪些图书馆?胡言乱语?科普?提升asio?我需要滚动我自己的多线程请求所有文件同时?有更简单的方法吗?
编辑:我需要同时请求大约1000个GET请求。我很可能会分批完成这个任务(每次100次,并在完成时创建更多的连接)。
发布于 2009-04-30 21:58:41
我推荐利伯尔。我不太熟悉它,但它确实有一个多界面来执行多个同时进行的HTTP操作。
根据您使用的解决方案,可以不使用多线程执行异步I/O。关键是使用select(2)系统调用。select()接受一组文件描述符,并告诉您其中是否有可用的数据。如果他们这样做了,那么您可以继续对它们使用read(2)或recv(2),而不必担心阻塞。
发布于 2009-04-30 22:13:55
Web浏览器通常维护一个工作线程池来进行下载,并在它们免费的时候将下载分配给它们。IIRC HTTP有一些关于您应该同时连接到同一台服务器的多个同时连接的问题:太多的连接是粗鲁的。
如果有几个请求指向同一个服务器,并且支持保持存活(几乎每个人都这样做),那么这可能比发送多个同时请求的垃圾邮件更好。一般的想法是,对多个请求串联使用一个TCP/IP连接,从而节省握手开销。在我实现Java类的经验中,实际的结果是您引入了一个微妙的bug,当您为一个新的请求重用连接时,不总是正确地清除状态,并且花费大量的时间盯着日志记录/嗅探数据;)
libcurl当然支持“保持活动”(我认为在默认情况下启用)。
https://stackoverflow.com/questions/809289
复制相似问题