我们使用dbt 0.19.1进行数据转换。
转换的表数为100+表。
一旦触发dbt run,我们就会得到很多日志行,如下所示:
08:42:58 | Concurrency: 10 threads (target='DEV')
08:42:58 |
08:42:58 | 1 of 167 START incremental model a [RUN]
08:42:58 | 5 of 167 START incremental model b [RUN]
08:42:58 | 9 of 167 START incremental model
...它在生产中很烦人,所以我正在寻找一种方法来关闭它。
我已经这样读过dbt document了,但是找不到一个选项。
有谁有什么想法吗?非常感谢!
发布于 2021-08-26 11:58:36
我不认为dbt允许通过CLI抑制日志。绕过它的一种方法是通过管道输出,例如dbt run > /dev/null
发布于 2021-09-13 09:31:48
Olle的anwser是正式的正确答案。
另一个变通解决方案是使用Python API -它没有文档,一旦升级dbt版本就不推荐使用。
from dbt import main
# pre stuff
# main show
if log_disabled:
main.log_manager.disable()
res, success = main.handle_and_check(args=YOUR_ARGS_HERE)
# post stuff如何使用dbt作为模块来创建钩子,让我们来看看the repo named airflow-dbt
https://stackoverflow.com/questions/68937116
复制相似问题