举报投诉联系我们 手机版 热门标签 名动网
您的位置:名动网 > apache pig Apache Pig MonthsBetween()函数

apache pig Apache Pig MonthsBetween()函数

2023-03-23 20:20 ApachePig教程

apache pig Apache Pig MonthsBetween()函数

apache pig

Apache Pig是一种用于处理大型数据集的开源软件,它可以帮助用户快速地将数据从原始格式转换为可分析的格式。它是基于Hadoop的,可以在Hadoop集群上运行,并且可以使用MapReduce来处理大量数据。Pig使用一种称为Pig Latin的高级语言来定义数据处理流水线,这使得它能够快速、有效地处理大量数据。

Pig Latin是一种面向对象的语言,允许用户将多个步骤合并成一个步骤,从而减少代码量。它还允许用户使用内置函数来执行常见的数据处理任务,如过滤、分割、合并和格式化。此外,Pig Latin还允许用户将代码分割成不同的部分,然后将它们重新组合在一起,从而减少代码量。

A = LOAD 'data' USING PigStorage(',') AS (f1:int, f2:chararray, f3:int); 
B = FILTER A BY f1 > 5; 
C = FOREACH B GENERATE f2; 
DUMP C; 

Apache Pig MonthsBetween()函数

此函数接受两个日期时间对象,并计算两个给定日期时间对象之间的月数。

语法

这是 MonthsBetween() 函数的语法。

grunt> MonthsBetween(datetime1, datetime2) 

假设在 HDFS 目录 /pig_data/ 中有一个名为 doj_dob.txt 的文件。此文件包含特定人员的出生日期和入职日期的详细信息:id,出生日期和入职日期。

doj_dob.txt

001,26/09/1989 09:00:00,16/01/2015 09:00:00
002,20/06/1980 10:22:00,10/08/2011 09:00:00 
003,19/12/1990 03:11:44,25/10/2012 09:00:00 

通过使用 doj_dob_data 关系将此文件加载到Pig中,如下所示。

doj_dob_data = LOAD 'hdfs://localhost:9000/pig_data/doj_dob.txt' USING PigStorage(',')
   as (id:int, dob:chararray, doj:chararray);

现在使用 MonthsBetween() 函数计算员工出生日期和入职日期之间的分钟数,如下所示。

grunt> monthsbetween_data = foreach doj_dob_data generate
   MinutesBetween(ToDate(doj,'dd/MM/yyyy HH:mm:ss'),ToDate(dob,'dd/MM/yyyy HH:mm:ss'));

上述语句结果将存储在名为 monthsbetween_data 的关系中。使用Dump运算符验证关系的内容,如下所示。

grunt> Dump monthsbetween;
  
(300)
(374)
(262) 


阅读全文
以上是名动网为你收集整理的apache pig Apache Pig MonthsBetween()函数全部内容。
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系本站删除。
相关文章
© 2024 名动网 mdwl.vip 版权所有 联系我们