云存储桶上的天气数据越来越丰富。太棒了!然而,它们并不是以云优化格式存储的。我想知道是否有一种方法可以只从存储在亚马逊网络服务上的grib2文件中提取元数据,然后只从这些文件中提取单点。同样的问题也适用于netcdf4。我知道Netcdf4支持库允许您对磁盘上的文件执行此操作,但我不知道如何在云上执行此操作。
为了探索这一点,我不知所措,我应该寻找哪些资源。任何帮助都将不胜感激。
发布于 2021-03-12 06:29:17
您可以动态解析GRIB2文件,并立即删除所有不需要的内容。每个GRIB2文件包含一个或多个具有以下结构的GRIB2消息:
区段0: Indicator Section
第0节在GRIB2中始终为16字节,第8节始终为4字节。其余部分始终从段的length (4字节)和section number (1字节)开始。因此,快速跳过所有不需要的部分应该很容易。然后,您可以只读第1、3或5节,具体取决于您想要的元数据。
然而,这也有一个缺点。如果我理解正确的话,你想在在线资源上这样做。在这种情况下,您将下载整个文件,同时跳过其部分或大部分。
如果您正在尝试为可用的GRIB数据构建某种类型的索引,这可能是一种选择。有点像灰熊爬虫。
请注意,GRIB1的结构略有不同
有关GRIB2部分的更多详细信息:https://www.nco.ncep.noaa.gov/pmb/docs/grib2/grib2_doc/
https://stackoverflow.com/questions/66552809
复制相似问题