文章/答案/技术大牛

发布

问Pandas to_datetime减速脚本
EN

Stack Overflow用户

提问于 2021-11-11 12:25:28

回答 1查看 51关注 0票数 0

我有一个读取CSV文件的脚本，它最近似乎变慢了(我确信它在使用这段代码时运行得更快)。我已经将问题的范围缩小到下面这行代码：

data['datetime'] = pd.to_datetime(data['datetime'])

CSV非常基础：

2021-11-03 09:30:00-04:00,150.39,150.8,150.3,150.47,9583

然而，仅运行2000行需要大约0.2秒，这似乎比我想象的要慢得多。

我已经尝试过更新python和pandas，以防出现这种情况，但问题仍然存在。

这个时间量是正常的吗?还有什么我可以检查或做的来提高速度吗？

EDIT2 -我重新创建了CSV，我认为这个已经治愈了它。不幸的是，它没有，我仍然在大约0.2s运行这行代码-也许它是CSV文件，但它在记事本中看起来完全正常？

发布于 2021-11-11 12:48:03

试试这个：

df = pd.read_csv(file, parse_dates=['datetime'])

编辑

如果它不适用于日期格式，请尝试以下操作：

dateparse = lambda x: datetime.strptime(x, '%Y-%m-%d %H:%M:%S')

df = pd.read_csv(file, parse_dates=['datetime'], date_parser=dateparse)

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/69928293

复制

相似问题

问Pandas to_datetime减速脚本EN