Flume:未抛出错误，但flume无法完全传输文件
Flume:未抛出错误，但flume无法完全传输文件
提问于 2013-06-26 15:55:53
在过去的2-3周里，我一直在研究水槽。我遇到了一个新的情况，我不知道该如何解决。
流:使用基本流spoolDir -> fileChannel -> HDFS
在.conf文件中未设置任何额外参数
我尝试传输的文件大小:1.4 to
情况:代理启动正常，文件传输开始正常，源代码中的文件被重命名为.COMPLETED，完整的文件没有传输到HDFS，没有抛出任何错误/异常。我多次运行相同的adhoc，我发现在1.4 is中只有~169Mb被转移。看起来很奇怪！
有什么建议吗？有什么解决方案吗？有什么假设吗？
回答 2
Stack Overflow用户
发布于 2013-06-27 02:43:37
你等了多久？给它一个小时，你可能会看到一些东西。
有可能你有一个损坏的fileChannel，它需要一些时间来清理它。
顺便说一句，哪个版本的Flume？
Stack Overflow用户
发布于 2013-06-27 03:01:02
尝试向文件中添加更多数据，并等待一段时间。日志里有什么有趣的东西吗？
还要确保您的HDFS上有足够的剩余空间。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/17314526
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号