首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >App Engine:上传解析10,000行48列CSV

App Engine:上传解析10,000行48列CSV
EN

Stack Overflow用户
提问于 2015-05-26 22:33:00
回答 2查看 67关注 0票数 0

我们有一个GAE应用程序,管理员需要上传CSV文件,解析它并将数据存储在数据存储中。CSV有48列,平均10,000行。我们目前是免费配额,考虑到我计算的数据存储区写入的GAE pricing,我们是一个上载导致的结果是:

代码语言:javascript
复制
    (2 + 48) * 10000 = 50,000 << None of the columns are indexed

因此,我们达到数据存储区写入配额的速度非常快,是否有其他解决方法?

仅供参考,这些值必须持久化,因为数据必须是可搜索的(检查结果)。

我们计划按ID列进行搜索,这意味着至少有一个索引。

EN

回答 2

Stack Overflow用户

发布于 2015-05-26 23:11:25

在您的公式中应该是500,000,但幸运的是,正如Mikhail指出的那样,对于未索引的属性没有数据写入。

另一方面,如果数据必须是可搜索的,您将必须至少索引一些属性,这将增加您的写入成本。由于所有属性都未编入索引,因此将此数据存储在数据存储中和将其保存在文本文件中没有区别。事实上,从文件中读取它的成本更低。

票数 1
EN

Stack Overflow用户

发布于 2015-05-27 11:53:09

如果您的ID是递增的,请考虑将此数据放入一个/两个/三个分片中--将前2k行放入ID为"1“的实体中,然后将下2k行放入实体"2”中,依此类推。然后,当您想要检索ID为2345的行时--您知道必须读取分片"2“,然后从内存中查找确切的实体。如果要让它变得非常便宜,只需要几次写和读,并且保持你的分片足够小,以保持它的速度。当然,如果您的行很大,这将不起作用。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/30461541

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档