Hive字符串和时间处理函数

Hive表的说明

创建表
        若创建内部表时,会将数据移动到数据仓库指向的路径;
        若创建外部表,仅记录数据所在的路径,不对数据的位置做任何改变。 
        table    external table
删除表
        内部表的元数据和数据会被一起删除
        外部表只删除元数据,不删除数据

计算实际用例

show create table test_table;
select  count(*) from test_table;
select * from test_table;
select  userno,printtime from test_table  limit 10 ;
select  userno,printtime from test_table;
##即1970-1-1 8:00至今的秒,可以用from_unixtime()转为时间,而13位的所谓毫秒的是不可以的
select userno, from_unixtime( bigint(printtime), 'yyyy-MM-dd' )  from test_table limit 10;
select userno, from_unixtime( bigint(printtime), 'yyyy-MM-dd HH:mm:ss' ) from test_table limit 10;
select userno,  substr(printtime, 1, 10)  from test_table limit 10;
select userno, from_unixtime( bigint(substr(printtime, 1, 10)), 'yyyy-MM-dd' ) from test_table limit 10;    
//带分隔符字符串连接函数:concat_ws
select  userno, concat('1',printtime)  from test_table limit 10;
select  userno,count(distinct(from_unixtime( bigint(substr(printtime, 1, 10)), 'yyyy-MM-dd' ))) from test_table group by userno limit 100 ;

字符串

1. 字符串长度函数:length
    语法: length(string A)
    返回值: int
    说明:返回字符串A的长度
    举例:
    hive> select length('abcedfg') from lxw_dual;
            7
2. 字符串反转函数:reverse
    语法: reverse(string A)
    返回值: string
    说明:返回字符串A的反转结果
    举例:
    hive> select reverse(abcedfg) from lxw_dual;
    gfdecba
3. 字符串连接函数:concat
    语法: concat(string A, string B)
    返回值: string
    说明:返回输入字符串连接后的结果,支持随意个输入字符串
    举例:
    hive> select concat(abc,'def’,'gh) from lxw_dual;
    abcdefgh
4. 带分隔符字符串连接函数:concat_ws
    语法: concat_ws(string SEP, string A, string B)
    返回值: string
    说明:返回输入字符串连接后的结果。SEP表示各个字符串间的分隔符
    举例:
    hive> select concat_ws(',','abc','def','gh') from lxw_dual;
    abc,def,gh
5. 字符串截取函数:substr,substring
    语法: substr(string A, int start),substring(string A, int start)
    返回值: string
    说明:返回字符串Astart位置到结尾的字符串
    举例:
    hive> select substr('abcde',3) from lxw_dual;
    cde
    hive> select substring('abcde',3) from lxw_dual;
    cde
    hive>  selectsubstr('abcde',-1) from lxw_dual;  (和ORACLE同样)
    e
6. 字符串截取函数:substr,substring
    语法: substr(string A, int start, int len),substring(string A, intstart, int len)
    返回值: string
    说明:返回字符串Astart位置開始,长度为len的字符串
    举例:
    hive> select substr('abcde',3,2) from lxw_dual;
    cd
    hive> select substring('abcde',3,2) from lxw_dual;
    cd
    hive>select substring('abcde',-2,2) from lxw_dual;
    de
7. 字符串转大写函数:upper,ucase
    语法: upper(string A) ucase(string A)
    返回值: string
    说明:返回字符串A的大写格式
    举例:
    hive> select upper('abSEd') from lxw_dual;
    ABSED
    hive> select ucase('abSEd') from lxw_dual;
    ABSED
8. 字符串转小写函数:lower,lcase
    语法: lower(string A) lcase(string A)
    返回值: string
    说明:返回字符串A的小写格式
    举例:
    hive> select lower('abSEd') from lxw_dual;
    absed
    hive> select lcase('abSEd') from lxw_dual;
    absed
9. 去空格函数:trim
    语法: trim(string A)
    返回值: string
    说明:去除字符串两边的空格
    举例:
    hive> select trim(' abc ') from lxw_dual;
    abc
10. 左边去空格函数:ltrim
    语法: ltrim(string A)
    返回值: string
    说明:去除字符串左边的空格
    举例:
    hive> select ltrim(' abc ') from lxw_dual;
    abc
11. 右边去空格函数:rtrim
    语法: rtrim(string A)
    返回值: string
    说明:去除字符串右边的空格
    举例:
    hive> select rtrim(' abc ') from lxw_dual;
    abc
12. 正则表达式替换函数:regexp_replace
    语法: regexp_replace(string A, string B, string C)
    返回值: string
    说明:将字符串A中的符合java正则表达式B的部分替换为C
    注意,在有些情况下要使用转义字符,类似oracle中的regexp_replace函数。

    举例:
    hive> select regexp_replace('foobar', 'oo|ar', '') from lxw_dual;
    fb
13. 正则表达式解析函数:regexp_extract
    语法: regexp_extract(string subject, string pattern, int index)
    返回值: string
    说明:将字符串subject依照pattern正则表达式的规则拆分。返回index指定的字符。
    举例:
    hive> select regexp_extract('foothebar', 'foo(.*?)(bar)', 1) fromlxw_dual;
    the
    hive> select regexp_extract('foothebar', 'foo(.*?)(bar)', 2) fromlxw_dual;
    bar
    hive> select regexp_extract('foothebar', 'foo(.*?
    )(bar)', 0) fromlxw_dual;   
    foothebar
    注意,在有些情况下要使用转义字符,以下的等号要用双竖线转义。这是java正则表达式的规则。
    select data_field,
         regexp_extract(data_field,'.*?bgStart\\=([^&]+)',1) as aaa,
         regexp_extract(data_field,'.*?contentLoaded_headStart\\=([^&]+)',1) as bbb,
         regexp_extract(data_field,'.*?
    AppLoad2Req\\=([^&]+)',1) as ccc

         from pt_nginx_loginlog_st
         where pt = '2012-03-26'limit 2;
    14. URL解析函数:parse_url
    语法: parse_url(string urlString, string partToExtract [, stringkeyToExtract])
    返回值: string
    说明:返回URL中指定的部分。partToExtract的有效值为:HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO.
    举例:
    hive> selectparse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1', 'HOST') fromlxw_dual;
    facebook.com
    hive> selectparse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1', 'QUERY','k1') from lxw_dual;
    v1
    15. json解析函数:get_json_object
    语法: get_json_object(string json_string, string path)
    返回值: string
    说明:解析json的字符串json_string,返回path指定的内容。假设输入的json字符串无效,那么返回NULL
    举例:
    hive> select get_json_object('{"store":
    >  {"fruit":\[{"weight":8,"type":"apple"},{"weight":9,"type":"pear"}],
    >   "bicycle":{"price":19.95,"color":"red"}
    >   },
    > "email":"amy@only_for_json_udf_test.net",
    >  "owner":"amy"
    > }
    > ','$.owner') from lxw_dual;
    amy
    16. 空格字符串函数:space
    语法: space(int n)
    返回值: string
    说明:返回长度为n的字符串
    举例:
    hive> select space(10) from lxw_dual;
    hive> select length(space(10)) from lxw_dual;
    10
    17. 反复字符串函数:repeat
    语法: repeat(string str, int n)
    返回值: string
    说明:返回反复n次后的str字符串
    举例:
    hive> select repeat('abc',5) from lxw_dual;
    abcabcabcabcabc
    18. 首字符ascii函数:ascii
    语法: ascii(string str)
    返回值: int
    说明:返回字符串str第一个字符的ascii
    举例:
    hive> select ascii('abcde') from lxw_dual;
    97
    19. 左补足函数:lpad
    语法: lpad(string str, int len, string pad)
    返回值: string
    说明:将str进行用pad进行左补足到len
    举例:
    hive> select lpad('abc',10,'td') from lxw_dual;
    tdtdtdtabc
    注意:与GPORACLE不同,pad 不能默认
    20. 右补足函数:rpad
    语法: rpad(string str, int len, string pad)
    返回值: string
    说明:将str进行用pad进行右补足到len
    举例:
    hive> select rpad('abc',10,'td') from lxw_dual;
    abctdtdtdt
    21. 切割字符串函数: split
    语法:  split(string str, stringpat)
    返回值:  array
    说明: 依照pat字符串切割str,会返回切割后的字符串数组
    举例:
    hive> select split('abtcdtef','t') from lxw_dual;
    ["ab","cd","ef"]
    22. 集合查找函数:find_in_set
    语法: find_in_set(string str, string strList)
    返回值: int
    说明: 返回strstrlist第一次出现的位置。strlist是用逗号切割的字符串。假设没有找该str字符,则返回0
    举例:
    hive> select find_in_set('ab','ef,ab,de') from lxw_dual;
    2
    hive> select find_in_set('at','ef,ab,de') from lxw_dual;

时间处理函数

1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat]) 
    返回值: string
    说明: 转化UNIX时间戳(从1970-01-0100:00:00 UTC到指定时间的秒数)到当前时区的时间格式
            注意不同时区是否有--1970-01-01 08:00:00 UTC到指定时间的秒数?
    举例:
    Hive> select from_unixtime(1491019212,'yyyyMMdd') from dual;
    20170401    
2.获取当前UNIX时间戳函数: unix_timestamp语法:   unix_timestamp() 
    返回值:   bigint
    说明: 获得当前时区的UNIX时间戳
    举例:
    hive>   select unix_timestamp() from dual;
    1491019212      
3.日期转UNIX时间戳函数: unix_timestamp语法:unix_timestamp(string date) 
    返回值:   bigint
    说明: 转换格式为“yyyy-MM-dd HH:mm:ss“的日期到UNIX时间戳。如果转化失败,则返回0
    举例:
    hive>   select unix_timestamp('2017-04-07 12:01:06') from dual;
    1491537666      
4.指定格式日期转UNIX时间戳函数: unix_timestamp语法:   unix_timestamp(string date,string pattern) 
    返回值:   bigint
    说明: 转换pattern格式的日期到UNIX时间戳。如果转化失败,则返回0
    举例:
    hive>   select unix_timestamp('2017-04-07 12:01:06','yyyyMMddHH:mm:ss') from dual;
    1491537666      
5.日期时间转日期函数: to_date语法:   to_date(string timestamp) 
    返回值:   string
    说明: 返回日期时间字段中的日期部分。
    举例:
    hive>   select to_date('2017-04-07 12:01:06) from dual;
    2017-04-07      
6.日期转年函数: year语法:   year(string date) 
    返回值: int
    说明: 返回日期中的年。
    举例:
    hive>   select year('2017-04-07 12:01:06) from dual;
    2011
    hive>   select year('2017-04-07') fromdual;
    2017        
7.日期转月函数: month语法: month   (string date) 
    返回值: int
    说明: 返回日期中的月份。
    举例:
    hive>   select month('2017-04-07 12:01:06) from dual;
    12
    hive>   select month('2017-08-08') fromdual;
    8       
8.日期转天函数: day语法: day   (string date) 
    返回值: int
    说明: 返回日期中的天。
    举例:
    hive>   select day('2017-04-07 12:01:06) from dual;
    8
    hive>   select day('2017-12-24') fromdual;
    24      
9.日期转小时函数: hour语法: hour   (string date) 
    返回值: int
    说明: 返回日期中的小时。
    举例:
    hive>   select hour('2017-04-07 12:01:06) from dual;
    12      
10.日期转分钟函数: minute语法: minute   (string date) 
    返回值: int
    说明: 返回日期中的分钟。
    举例:
    hive>   select minute('2017-04-07 12:01:06) from dual;
    1       
11.日期转秒函数: second语法: second   (string date) 
    返回值: int
    说明: 返回日期中的秒。
    举例:
    hive>   select second('2017-04-07 12:01:06) from dual;
    6       
12.日期转周函数: weekofyear语法:   weekofyear (string date) 
    返回值: int
    说明: 返回日期在当前的周数。
    举例:
    hive>   select weekofyear('2017-04-07 12:01:06') from dual;
    14  
13.日期比较函数: datediff语法:   datediff(string enddate,string startdate) 
    返回值: int
    说明: 返回结束日期减去开始日期的天数。
    举例:
    hive>   select datediff('2017-04-07','2017-03-09')from dual;
    29      
14.日期增加函数: date_add语法:   date_add(string startdate, intdays) 
    返回值: string
    说明: 返回开始日期startdate增加days天后的日期。
    举例:
    hive>   select date_add('2017-04-07',10)from dual;
    2017-04-17      
15.日期减少函数: date_sub语法:   date_sub (string startdate,int days) 
    返回值: string
    说明: 返回开始日期startdate减少days天后的日期。
    举例:
    hive>   select date_sub('2017-04-07',10)from dual;
    2017-03-28

参考:

hive中的udf时间函数用法 http://blog.csdn.net/jiedushi/article/details/7401569
hive字符串函数       http://www.cnblogs.com/blfshiye/p/5041125.html

blogroll

social