4个By
(1)Order By
全局排序,只有一个Reducer。
(2)Sort By
分区内有序。
(3)Distrbute By
类似MR中Partition,进行分区,结合sort by使用。
(4) Cluster By
当Distribute by和Sorts by字段相同时,可以使用Cluster by方式。Cluster by除了具有Distribute by的功能外还兼具Sort by的功能。但是排序只能是升序排序,不能指定排序规则为ASC或者DESC。
在生产环境中Order By用的比较少,容易导致OOM。
在生产环境中Sort By+ Distrbute By用的多。
排序函数
(1)RANK()
排序相同时会重复,总数不会变
1
1
3
3
5
(2)DENSE_RANK()
排序相同时会重复,总数会减少
1
1
2
2
3
(3)ROW_NUMBER()
会根据顺序计算
1
2
3
4
5
正则表达式
符号 | 功能 |
/ | 做为转义,即通常在“/”后面的字符不按原来意义解释,如/b/匹配字符“b”,当b前面加了反斜杠后//b/,转义为匹配一个单词的边界。-或-对正则表达式功能字符的还原,如““匹配它前面元字符0次或多次,/a/将匹配a,aa,aaa,加了"/"后,/a//将只匹配”a“。 |
^ | 匹配一个输入或一行的开头 ,/^a/匹配”an A“,而不匹配”An a“ |
$ | 匹配一个输入或一行的结尾,/a$/匹配”An a“,而不匹配”an A“ |
* | 匹配前面原字符0次或多次,/ba*/将匹配b,ba,baa |
+ | 匹配前面元字符1次或多次,/ba*/将匹配ba,ba,baaa |
? | 匹配前面元字符0次或1次,/ba?/将匹配b,ba |
(x) | 匹配x保存x在名为$1…$9的变量中 |
{n} | 精确匹配n次 |
{n,} | 匹配n次以上 |
{n,m} | 匹配n-m次 |
[xyz] | 字符集(character set),匹配这个集合中任一一个字符(或元字符) |
[^xyz] | 不匹配这个集合中的任何一个字符 |
[/b] | 匹配一个退格符 |
/b | 匹配一个单词的边界 |
/B | 匹配一个单词的非边界 |
/d | 匹配一个数字字符,//d/=/[0-9]/ |
/D | 匹配一个非数字字符,//D/=/[^0-9]/ |
/n | 匹配一个换行符 |
/r | 匹配一个换行符 |
/S |