文章/答案/技术大牛

发布

社区首页 >问答首页 >如何使用nodejs使用Dynamodb并行扫描检索数据

问如何使用nodejs使用Dynamodb并行扫描检索数据
EN

Stack Overflow用户

提问于 2017-09-01 20:05:00

回答 1查看 3.3K关注 0票数 2

我正在使用nodejs将dynamo表导入到S3。我所有的工作都很好，但是整个拷贝都很慢，因为我有数百万条记录，顺序扫描限制在1MB，所以我希望使用节点对dB进行并行扫描。

但要做到这一点，我需要创建多个线程，并将并行工作分配给节点中的线程。我想知道是否有这样做的推荐方法，或者您是否建议使用数据管道导入数据？你觉得我该怎么做？

amazon

node.js

multithreading

amazon-dynamodb

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-09-04 10:56:42

您可以使用内置并行扫描特性在Scan API中可用.整个过程将被划分为多个片段，扫描将在各个片段上执行。

并行扫描

Segment: 0,
TotalSegments: 5

分段:对于并行扫描请求，分段标识要由应用程序工作人员扫描的单个段。段ID是基于零的，所以第一个段总是0.例如，如果要使用四个应用程序线程扫描表或索引，则第一个线程指定段值为0，第二个线程指定1，依此类推。段的值必须大于或等于0，并且小于为TotalSegments提供的值。如果提供分段，则还必须提供TotalSegments。对于并行扫描请求，TotalSegments表示扫描操作将被分成的段的总数。TotalSegments的值对应于执行并行扫描的应用程序工作人员的数量。例如，如果要使用四个应用程序线程扫描表或索引，请指定TotalSegments值为4。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/46007312

复制

相似问题

问如何使用nodejs使用Dynamodb并行扫描检索数据
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何使用nodejs使用Dynamodb并行扫描检索数据EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何使用nodejs使用Dynamodb并行扫描检索数据
EN