首页 > 社交 > 科普中国

大数据组件常用命令

常驻编辑 科普中国 2022-10-20 函数   组件   字符   元素   命令   参数   日期   类型   功能   文件   时间   常用命令   数据


Knu拜客生活常识网

生产者


Knu拜客生活常识网

kafka-console-producer --broker-list xxxxxx:9092 --topic topic_name

可加:--property parse.key=true(有key消息)


Knu拜客生活常识网

消费者


Knu拜客生活常识网

kafka-console-consumer --bootstrap-server xxxxxx:9092 --topic topic_name

注:可选

--from-beginning:会把主题中以往所有的数据都读取出来

--whitelist '.*' :消费所有的topic

--property print.key=true:显示key进行消费

--partition 0:指定分区消费

--offset:指定起始偏移量消费


Knu拜客生活常识网

查看某个Topic的详情


Knu拜客生活常识网

kafka-topics --zookeeper xxxxxx:2181 --describe --topic topic_name


Knu拜客生活常识网

修改分区数


Knu拜客生活常识网

  kafka-topics --zookeeper xxxxxx:2181 --alter --topic topic_name --partitions 6


Knu拜客生活常识网

查看某个消费者组信息


Knu拜客生活常识网

kafka-consumer-groups --bootstrap-server  xxxxxx:9092  --describe --group group_name


Knu拜客生活常识网

删除消费者组


Knu拜客生活常识网

kafka-consumer-groups --bootstrap-server  xxxxxx:9092  ---delete --group group_name


Knu拜客生活常识网

重置offset


Knu拜客生活常识网

kafka-consumer-groups --bootstrap-server  xxxxxx:9092  --group group_name

--reset-offsets --all-topics --to-latest --execute


Knu拜客生活常识网

leader重新选举


Knu拜客生活常识网

指定Topic指定分区用重新PREFERRED:优先副本策略 进行Leader重选举Knu拜客生活常识网


Knu拜客生活常识网

kafka-leader-election --bootstrap-server xxxxxx:9092 
--topic topic_name --election-type PREFERRED --partition 0


Knu拜客生活常识网

所有Topic所有分区用重新PREFERRED:优先副本策略 进行Leader重选举Knu拜客生活常识网


Knu拜客生活常识网

kafka-leader-election --bootstrap-server xxxxxx:9092 
--election-type preferred  --all-topic-partitions


Knu拜客生活常识网

查询kafka版本信息


Knu拜客生活常识网

kafka-configs --bootstrap-server xxxxxx:9092 --describe --version


Knu拜客生活常识网

增删改配置

功能说明Knu拜客生活常识网

参数Knu拜客生活常识网

选择类型Knu拜客生活常识网

--entity-type (topics/clients/users/brokers/broker- loggers)Knu拜客生活常识网

类型名称Knu拜客生活常识网

--entity-nameKnu拜客生活常识网

删除配置Knu拜客生活常识网

--delete-config k1=v1,k2=v2Knu拜客生活常识网

添加/修改配置Knu拜客生活常识网

--add-config k1,k2Knu拜客生活常识网


Knu拜客生活常识网

topic添加/修改动态配置Knu拜客生活常识网


Knu拜客生活常识网

kafka-configs --bootstrap-server xxxxxx:9092
--alter --entity-type topics --entity-name topic_name 
--add-config file.delete.delay.ms=222222,retention.ms=999999


Knu拜客生活常识网

topic删除动态配置Knu拜客生活常识网


Knu拜客生活常识网

kafka-configs --bootstrap-server xxxxxx:9092 
--alter --entity-type topics --entity-name topic_name 
--delete-config file.delete.delay.ms,retention.ms


Knu拜客生活常识网

持续批量拉取消息


Knu拜客生活常识网

单次最大消费10条消息(不加参数意为持续消费)Knu拜客生活常识网


Knu拜客生活常识网

kafka-verifiable-consumer --bootstrap-server xxxxxx:9092 
--group group_name
--topic topic_name --max-messages 10


Knu拜客生活常识网

删除指定分区的消息


Knu拜客生活常识网

删除指定topic的某个分区的消息删除至offset为1024Knu拜客生活常识网

相关阅读:

  • tan30度等于多少(三角函数必背公式)
  • cos30度是多少(三角函数所有公式大全)
  • 如何插入函数(将多个单元格内容合并)
  • 怎么定义函数(matlab中script和function区别)
  • excel怎么用函数 电脑表格怎样设置函数公式?
  • 函数图像怎么画 二次函数图像生成器?
  • C++|深入理解智能指针
  • typescript4.7
  • 「技术干货」Linux内核代码追踪之UDP调用过程
  • 单片机时间片轮询任务调度的实现方法
    • 网站地图 |
    • 声明:登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不做权威认证,如若验证其真实性,请咨询相关权威专业人士。