首页 > 社交 > 科普中国

大数据组件常用命令

常驻编辑 科普中国 2022-10-20 函数   组件   字符   元素   命令   参数   日期   类型   功能   文件   时间   常用命令   数据


Knu拜客生活常识网

hadoop fs/hdfs dfs 命令

功能说明Knu拜客生活常识网

命令Knu拜客生活常识网

创建目录Knu拜客生活常识网

hdfs dfs -mkdir -p /data/flinkKnu拜客生活常识网

显示目录Knu拜客生活常识网

hdfs dfs -ls /Knu拜客生活常识网

从HDFS拷贝到本地Knu拜客生活常识网

hdfs dfs -copyToLocal /data/data.txt ./Knu拜客生活常识网

文件上传到集群(从本地)Knu拜客生活常识网

hhdfs dfs -copyFromLocal data.txt /Knu拜客生活常识网

文件下载Knu拜客生活常识网

hdfs dfs -get /data/flinkKnu拜客生活常识网

删除集群的文件Knu拜客生活常识网

hdfs dfs -rm /data/flinkKnu拜客生活常识网

删除文件夹Knu拜客生活常识网

hdfs dfs -rm -r -skipTrash /dataKnu拜客生活常识网

从本地剪切粘贴到HDFSKnu拜客生活常识网

hdfs dfs -moveFromLocal data.txt /data/Knu拜客生活常识网

追加一个文件到已经存在的文件末尾hdfs dfs -appendToFile data1.txt /data/data.txtKnu拜客生活常识网


Knu拜客生活常识网

显示文件内容Knu拜客生活常识网

hdfs dfs -cat data.txtKnu拜客生活常识网

修改文件所属权限Knu拜客生活常识网

hdfs dfs -chmod 777 xxx.shKnu拜客生活常识网

修改文件所属用户组Knu拜客生活常识网

hdfs dfs -chown root:root data.txtKnu拜客生活常识网

从HDFS的一个路径拷贝到HDFS的另一个路径Knu拜客生活常识网

hdfs dfs -cp data.txt /data1.txtKnu拜客生活常识网

在HDFS目录中移动文件Knu拜客生活常识网

hdfs dfs -mv data.txt /opt/Knu拜客生活常识网

合并下载多个文件Knu拜客生活常识网

hdfs dfs -getmerge /data/* ./data_merge.txtKnu拜客生活常识网

hadoop fs -putKnu拜客生活常识网

等同于copyFromLocalKnu拜客生活常识网

显示一个文件的末尾Knu拜客生活常识网

hdfs dfs -tail data.txtKnu拜客生活常识网

删除文件或文件夹Knu拜客生活常识网

hdfs dfs -rm /data/data.txtKnu拜客生活常识网

删除空目录Knu拜客生活常识网

hdfs dfs -rmdir /dataKnu拜客生活常识网

统计文件夹的大小信息Knu拜客生活常识网

hdfs dfs -s -h /dataKnu拜客生活常识网

统计文件夹下的文件大小信息Knu拜客生活常识网

hdfs dfs -h /dataKnu拜客生活常识网

设置HDFS中文件的副本数量Knu拜客生活常识网

hdfs dfs -setrep 3 /data/data.txtKnu拜客生活常识网


Knu拜客生活常识网

yarn命令

功能说明Knu拜客生活常识网

命令Knu拜客生活常识网

查看正在运行的yarn任务列表Knu拜客生活常识网

yarn application -list appIDKnu拜客生活常识网

kill掉指定id的yarn任务Knu拜客生活常识网

yarn application -kill appIDKnu拜客生活常识网

查看任务日志信息Knu拜客生活常识网

yarn logs -applicationId appIDKnu拜客生活常识网


Zookeeper


Knu拜客生活常识网

启动命令

功能说明Knu拜客生活常识网

命令脚本Knu拜客生活常识网

启动zookeeper服务Knu拜客生活常识网

zkServer.sh startKnu拜客生活常识网

查看zookeeper状态Knu拜客生活常识网

zkServer.sh statusKnu拜客生活常识网

停止zookeeper服务Knu拜客生活常识网

zkServer.sh stopKnu拜客生活常识网

启动zookeeper客户端Knu拜客生活常识网

zkCli.sh -server 127.0.0.1:2181Knu拜客生活常识网

退出zookeeper客户端Knu拜客生活常识网

quitKnu拜客生活常识网


相关阅读:

  • tan30度等于多少(三角函数必背公式)
  • cos30度是多少(三角函数所有公式大全)
  • 如何插入函数(将多个单元格内容合并)
  • 怎么定义函数(matlab中script和function区别)
  • excel怎么用函数 电脑表格怎样设置函数公式?
  • 函数图像怎么画 二次函数图像生成器?
  • C++|深入理解智能指针
  • typescript4.7
  • 「技术干货」Linux内核代码追踪之UDP调用过程
  • 单片机时间片轮询任务调度的实现方法
    • 网站地图 |
    • 声明:登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不做权威认证,如若验证其真实性,请咨询相关权威专业人士。