Apache Pig IsEmpty()用法及代码示例

这个IsEmpty()Pig Latin 的函数用于检查包或Map是否为空。

用法

下面给出的是IsEmpty()函数。

grunt> IsEmpty(expression)

示例

假设我们有两个文件，即emp_sales.txt和emp_bonus.txt在 HDFS 目录中/pig_data/如下所示。这emp_sales.txt包含销售部门员工的详细信息和emp_bonus.txt包含获得奖金的员工详细信息。

emp_sales.txt

1,Robin,22,25000,sales 
2,BOB,23,30000,sales 
3,Maya,23,25000,sales 
4,Sara,25,40000,sales 
5,David,23,45000,sales 
6,Maggy,22,35000,sales

emp_bonus.txt

1,Robin,22,25000,sales 
2,Jaya,23,20000,admin 
3,Maya,23,25000,sales 
4,Alia,25,50000,admin 
5,David,23,45000,sales 
6,Omar,30,30000,admin

我们已经将这些文件加载​​到 Pig 中，并带有关系名称emp_sales和emp_bonus分别如下图所示。

grunt> emp_sales = LOAD 'hdfs://localhost:9000/pig_data/emp_sales.txt' USING PigStorage(',')
   as (sno:int, name:chararray, age:int, salary:int, dept:chararray);
	
grunt> emp_bonus = LOAD 'hdfs://localhost:9000/pig_data/emp_bonus.txt' USING PigStorage(',')
   as (sno:int, name:chararray, age:int, salary:int, dept:chararray);

现在让我们将关系的记录/元组分组emp_sales和emp_bonus用钥匙age， 使用cogroup操作符如下图。

grunt> cogroup_data = COGROUP emp_sales by age, emp_bonus by age;

验证关系cogroup_data使用DUMP操作符如下图。

grunt> Dump cogroup_data;
  
(22,{(6,Maggy,22,35000,sales),(1,Robin,22,25000,sales)}, {(1,Robin,22,25000,sales)}) 
(23,{(5,David,23,45000,sales),(3,Maya,23,25000,sales),(2,BOB,23,30000,sales)}, 
   {(5,David,23,45000,sales),(3,Maya,23,25000,sales),(2,Jaya,23,20000,admin)})  
(25,{(4,Sara,25,40000,sales)},{(4,Alia,25,50000,admin)}) 
(30,{},{(6,Omar,30,30000,admin)})

COGROUP 运算符根据年龄对每个关系中的元组进行分组。每个组描绘了一个特定的年龄值。

例如，如果我们考虑结果的第一个元组，它按年龄 22 分组。它包含两个袋子，第一个袋子包含第一个关系(在本例中为 student_details)的所有元组，第二个为年龄 22 bag 包含来自第二个关系(在本例中为 employee_details)的所有年龄为 22 的元组。如果关系没有年龄值为 22 的元组，则它返回一个空包。

得到有空袋子的小组

让我们列出这些空袋子emp_sales使用组中的关系IsEmpty()函数。

grunt> isempty_data = filter cogroup_data by IsEmpty(emp_sales);

确认

验证关系isempty_data使用 DUMP 运算符，如下所示。这emp_sales关系保存关系中不存在的元组emp_bonus。

grunt> Dump isempty_data; 
  
(30,{},{(6,Omar,30,30000,admin)})