文章/答案/技术大牛

发布

社区首页 >问答首页 >Oozie抑制shell作业操作的日志记录？

问Oozie抑制shell作业操作的日志记录？
EN

Stack Overflow用户

提问于 2017-07-26 17:04:31

回答 1查看 1K关注 0票数 1

我有一个运行shell脚本的简单工作流(见下文)。shell脚本运行pyspark脚本，该脚本将文件从本地移动到hdfs文件夹。

当我运行shell脚本本身时，它工作得很好，日志通过shell脚本中的> spark.txt 2>&1重定向到一个文件夹。

但是，当我使用以下工作流提交oozie作业时，shell的输出似乎被抑制了。我尝试重定向所有可能的oozie logs (-verbose -log) > oozie.txt 2>&1，但是没有帮助。

工作流已成功完成(状态SUCCESSEDED，没有错误日志)，但我看到，文件夹没有复制到hdfs，但是当我单独运行它(不是通过oozie)时，一切正常。

<action name="forceLoadFromLocal2hdfs">
<shell xmlns="uri:oozie:shell-action:0.1">
  <job-tracker>${jobTracker}</job-tracker>
  <name-node>${nameNode}</name-node>
  <configuration>
    <property>
      <name>mapred.job.queue.name</name>
      <value>${queueName}</value>
    </property>
  </configuration>
  <exec>driver-script.sh</exec>
  <argument>s</argument>
  <argument>script.py</argument>
  <!-- arguments for py script -->
  <argument>hdfsPath</argument>
  <argument>localPath</argument>
  <file>driver-script.sh#driver-script.sh</file>
</shell>
<ok to="end"/>
<error to="killAction"/>

非常感谢！

编辑: Thx到我在下面找到完整日志的建议

yarn -logs -applicationId [application_xxxxxx_xxxx]

logging

oozie

shell

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-07-28 17:04:57

感谢我在下面找到的完整日志

yarn -logs -applicationId [application_xxxxxx_xxxx]

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/45322251

复制

相似问题

问Oozie抑制shell作业操作的日志记录？
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Oozie抑制shell作业操作的日志记录？EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Oozie抑制shell作业操作的日志记录？
EN