博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
使用kafkachannel 启动flume报错
阅读量:4072 次
发布时间:2019-05-25

本文共 841 字,大约阅读时间需要 2 分钟。

  

   在使用kafkachannel时,启动flume报错

    org.apache.flume.conf.ConfigurationException: Broker List must be specified
    原因是我使用的flume的版本是1.6.0的,kafka是kafka_2.11-0.10.2.1,
    kafka使用的是新版,而flume使用的比较老,在定义broker时,flume新老版本不一致

这个是我原来写的配置,这个是flume1.7以后才是这样写,所以会报上面的错

a0.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel

a0.channels.c1.kafka.bootstrap.servers = bigdata01:9092,bigdata02:9092,bigdata03:9092
a0.channels.c1.kafka.topic = userif
#a0.channels.c1.parseAsFlumeEvent = false
a0.sources.r1.channels = c1

解决就是把--bootstrap-servers 换成brokerList,或者换一个高一点的flume版本,为了确保万无一失,把zookeeper.jar 拷贝到flume的lib下

a0.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel

a0.channels.c1.brokerList = bigdata01:9092,bigdata02:9092,bigdata03:9092
a0.channels.c1.zookeeperConnect=192.168.136.150:2181
a0.channels.c1.topic = userif
a0.sources.r1.channels = c1

  

 

  

 

转载地址:http://sykni.baihongyu.com/

你可能感兴趣的文章
《软件体系结构》 第九章 软件体系结构评估
查看>>
《软件体系结构》 第十章 软件产品线体系结构
查看>>
《软件过程管理》 第六章 软件过程的项目管理
查看>>
《软件过程管理》 第九章 软件过程的评估和改进
查看>>
分治法 动态规划法 贪心法 回溯法 小结
查看>>
《软件体系结构》 练习题
查看>>
《数据库系统概论》 第一章 绪论
查看>>
《数据库系统概论》 第二章 关系数据库
查看>>
《数据库系统概论》 第三章 关系数据库标准语言SQL
查看>>
SQL语句(二)查询语句
查看>>
SQL语句(六) 自主存取控制
查看>>
《计算机网络》第五章 运输层 ——TCP和UDP 可靠传输原理 TCP流量控制 拥塞控制 连接管理
查看>>
堆排序完整版,含注释
查看>>
二叉树深度优先遍历和广度优先遍历
查看>>
生产者消费者模型,循环队列实现
查看>>
PostgreSQL代码分析,查询优化部分,process_duplicate_ors
查看>>
PostgreSQL代码分析,查询优化部分,canonicalize_qual
查看>>
PostgreSQL代码分析,查询优化部分,pull_ands()和pull_ors()
查看>>
IA32时钟周期的一些内容
查看>>
获得github工程中的一个文件夹的方法
查看>>