这不是一个“我的代码坏了”的问题,而是一个“我应该这么做吗?”有个问题。
我有一个脚本,它使用类似于reader = csv.DictReader(open('file.txt', 'rb'), delimiter= '\t')这样的东西逐行迭代,不需要将整件事情提交到内存中,就可以得到像年龄和日期这样的东西。
目前,脚本使用大约5%的内存 (8GB)。
一般来说,把一个文件放入内存而不是打开它并循环它的内容--尤其是当它很大(超过700‘s)时--是否更容易被接受?
我的脚本是供个人使用的,但我更愿意学习Python的约定,并做被认为可以接受的事情。例如,我知道如果我在JavaScript中做类似的事情,我会尽量节省内存,以防止浏览器崩溃或失去响应。
Python中的方法(内存与循环)是否优于另一种方法?
编辑:我知道这可能有点宽泛。我对最好的(毕达克)练习更感兴趣。
似乎有很多帖子问如何做,但不是很多问为什么或如果。
发布于 2014-07-07 08:51:17
AFAIK,你的方法是用pythonic的方法来做到这一点。
您应该知道,open('file.txt')并没有将整个文件放入内存中。它返回一个按需读取文件的迭代器。你的DictReader也是。
只要尝试处理一个大文件,您将不会看到内存消耗的任何增加。
发布于 2014-07-07 09:03:06
大多数情况下,最好在读取文件时处理它。操作系统期望这样的行为,因此它提前读取以补偿磁盘系统的延迟。加载整个文件通常只保留用于进程的内存,如果只扫描一次,这是浪费的。您可以映射它,它允许系统直接使用磁盘缓冲区,但这就失去了下一步读取位置的提示。读取太小的块会导致系统调用开销占优势,因此如果可能的话,您会希望读取相当大的块,但是对于大多数程序来说,在读取行时进行默认缓冲就足够了。
https://stackoverflow.com/questions/24606303
复制相似问题