首页 > 社交 > 科普中国

大数据组件常用命令

常驻编辑 科普中国 2022-10-20 函数   组件   字符   元素   命令   参数   日期   类型   功能   文件   时间   常用命令   数据

说明Knu拜客生活常识网

语句Knu拜客生活常识网

查看hive中的所有数据库Knu拜客生活常识网

show databasesKnu拜客生活常识网

用default数据库Knu拜客生活常识网

use defaultKnu拜客生活常识网

查询表结构Knu拜客生活常识网

desc table_nameKnu拜客生活常识网

查看数据库Knu拜客生活常识网

show databasesKnu拜客生活常识网

重命名表名Knu拜客生活常识网

alter table table1 rename to table2Knu拜客生活常识网

修改表中字段Knu拜客生活常识网

alter table table_name change name user_name StringKnu拜客生活常识网

修改字段类型Knu拜客生活常识网

alter table table_name change salary salary DoubleKnu拜客生活常识网

创建外部表Knu拜客生活常识网

create external table ....Knu拜客生活常识网

查询外部表信息Knu拜客生活常识网

desc formatted outsidetableKnu拜客生活常识网

创建视图Knu拜客生活常识网

create view view_name as select * from table_name .....Knu拜客生活常识网

添加数据Knu拜客生活常识网

load data local inpath 'xxx' overwrite into table table_name partition(day='2021-12-01')Knu拜客生活常识网


Knu拜客生活常识网

内置函数


Knu拜客生活常识网

(1) NVLKnu拜客生活常识网


Knu拜客生活常识网

给值为NULL的数据赋值,它的格式是NVL( value,default_value)。它的功能是如果value为NULL,则NVL函数返回default_value的值,否则返回value的值,如果两个参数都为NULL ,则返回NULLKnu拜客生活常识网


Knu拜客生活常识网

select nvl(column, 0) from xxx;


Knu拜客生活常识网

(2)行转列Knu拜客生活常识网

函数Knu拜客生活常识网

描述Knu拜客生活常识网

CONCAT(string A/col, string B/col…)Knu拜客生活常识网

返回输入字符串连接后的结果,支持任意个输入字符串Knu拜客生活常识网

CONCAT_WS(separator, str1, str2,...)Knu拜客生活常识网

第一个参数参数间的分隔符,如果分隔符是 NULL,返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间。Knu拜客生活常识网

COLLECT_SET(col)Knu拜客生活常识网

将某字段的值进行去重汇总,产生array类型字段Knu拜客生活常识网

COLLECT_LIST(col)Knu拜客生活常识网

函数只接受基本数据类型,它的主要作用是将某字段的值进行不去重汇总,产生array类型字段。Knu拜客生活常识网


Knu拜客生活常识网

(3)列转行(一列转多行)Knu拜客生活常识网


Knu拜客生活常识网

Split(str, separator): 将字符串按照后面的分隔符切割,转换成字符array。Knu拜客生活常识网


Knu拜客生活常识网

EXPLODE(col):
将hive一列中复杂的array或者map结构拆分成多行。Knu拜客生活常识网


Knu拜客生活常识网

LATERAL VIEWKnu拜客生活常识网


Knu拜客生活常识网

用法:

LATERAL VIEW udtf(expression) tableAlias AS columnAlias


Knu拜客生活常识网

解释:lateral view用于和split, explode等UDTF一起使用,它能够将一行数据拆成多行数据,在此基础上可以对拆分后的数据进行聚合。Knu拜客生活常识网


Knu拜客生活常识网

lateral view首先为原始表的每行调用UDTF,UDTF会把一行拆分成一或者多行,lateral view再把结果组合,产生一个支持别名表的虚拟表。Knu拜客生活常识网


Knu拜客生活常识网

准备数据源测试Knu拜客生活常识网

movieKnu拜客生活常识网

categoryKnu拜客生活常识网

《功勋》Knu拜客生活常识网

记录,剧情Knu拜客生活常识网

《战狼2》Knu拜客生活常识网

战争,动作,灾难Knu拜客生活常识网


Knu拜客生活常识网

SQL

相关阅读:

  • tan30度等于多少(三角函数必背公式)
  • cos30度是多少(三角函数所有公式大全)
  • 如何插入函数(将多个单元格内容合并)
  • 怎么定义函数(matlab中script和function区别)
  • excel怎么用函数 电脑表格怎样设置函数公式?
  • 函数图像怎么画 二次函数图像生成器?
  • C++|深入理解智能指针
  • typescript4.7
  • 「技术干货」Linux内核代码追踪之UDP调用过程
  • 单片机时间片轮询任务调度的实现方法
    • 网站地图 |
    • 声明:登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不做权威认证,如若验证其真实性,请咨询相关权威专业人士。