我正在编写一个ETL作业,其中保存了数据仓库中来自我们的GitHub repos的提交、拉请求和文件的更新列表。我目前正在存储etags并将其传递给不同的迭代器,但我不认为我理解如何正确地执行它。
我也很难理解object.refresh(conditional=True)到底在做什么。如果我在回购上迭代所有提交,然后对每一个都调用commit.refresh(conditional=True),那么我是否会收到一个304个异常来处理,这样我就知道不会在数据仓库中包含这个提交,因为它没有改变?拉请求也是如此。当我调用repository.refresh(conditional=True)时,它似乎忽略了repos中的新提交。
如果我将一个etag传递给repo.iter_commits,它将只返回修改后的提交,或者如果有任何更改,它会返回回购的所有提交吗?
这是我目前使用的基本工作流:
from github3 import login
gh = login(token='access_token')
repos = (repo.refresh(conditional=True) for repo in gh.iter_repos(etag='previous_etag'))
commit_iters = (commit_iter for repo in repos for commit_iter in repo.iter_commits(etag='prev_etag'))
for commit_iter in commit_iters:
for commit in commit_iter:
commit.refresh(conditional=True)
# pull various attributes, write to file, etc...我将每个迭代器包装在一个包装类中,该类处理检索以前的etags、迭代后存储etags和检查速率限制。
我的首要目标是提取自上次请求以来发生更改的任何新提交/拉请求。此时,我想删除数据库中的现有条目,并使用新条目进行更新。
使用github3.py API实现这一目标的正确和最有效的方法是什么?
编辑:我再次检查了文档,其中有一个since参数,它将处理提交的问题。因此,我只需要知道如何正确地使用etags来获取更新的拉请求数据。
发布于 2017-04-05 14:07:06
因此,ETags的工作方式如下:
- If there is a change to the resource, you must consume the entire resource again
- If there is no change, you will receive a `204 No Content` response
ETag不允许您从原来的位置恢复,也没有什么好的方法可以从您停止使用API的地方恢复。
老实说,我认为你可能想做的是:
push事件的web钩子https://stackoverflow.com/questions/43213727
复制相似问题