Apache Pig IsEmpty()用法及代碼示例

這個IsEmpty()Pig Latin 的函數用於檢查包或Map是否為空。

用法

下麵給出的是IsEmpty()函數。

grunt> IsEmpty(expression)

示例

假設我們有兩個文件，即emp_sales.txt和emp_bonus.txt在 HDFS 目錄中/pig_data/如下所示。這emp_sales.txt包含銷售部門員工的詳細信息和emp_bonus.txt包含獲得獎金的員工詳細信息。

emp_sales.txt

1,Robin,22,25000,sales 
2,BOB,23,30000,sales 
3,Maya,23,25000,sales 
4,Sara,25,40000,sales 
5,David,23,45000,sales 
6,Maggy,22,35000,sales

emp_bonus.txt

1,Robin,22,25000,sales 
2,Jaya,23,20000,admin 
3,Maya,23,25000,sales 
4,Alia,25,50000,admin 
5,David,23,45000,sales 
6,Omar,30,30000,admin

我們已經將這些文件加載​​到 Pig 中，並帶有關係名稱emp_sales和emp_bonus分別如下圖所示。

grunt> emp_sales = LOAD 'hdfs://localhost:9000/pig_data/emp_sales.txt' USING PigStorage(',')
   as (sno:int, name:chararray, age:int, salary:int, dept:chararray);
	
grunt> emp_bonus = LOAD 'hdfs://localhost:9000/pig_data/emp_bonus.txt' USING PigStorage(',')
   as (sno:int, name:chararray, age:int, salary:int, dept:chararray);

現在讓我們將關係的記錄/元組分組emp_sales和emp_bonus用鑰匙age， 使用cogroup操作符如下圖。

grunt> cogroup_data = COGROUP emp_sales by age, emp_bonus by age;

驗證關係cogroup_data使用DUMP操作符如下圖。

grunt> Dump cogroup_data;
  
(22,{(6,Maggy,22,35000,sales),(1,Robin,22,25000,sales)}, {(1,Robin,22,25000,sales)}) 
(23,{(5,David,23,45000,sales),(3,Maya,23,25000,sales),(2,BOB,23,30000,sales)}, 
   {(5,David,23,45000,sales),(3,Maya,23,25000,sales),(2,Jaya,23,20000,admin)})  
(25,{(4,Sara,25,40000,sales)},{(4,Alia,25,50000,admin)}) 
(30,{},{(6,Omar,30,30000,admin)})

COGROUP 運算符根據年齡對每個關係中的元組進行分組。每個組描繪了一個特定的年齡值。

例如，如果我們考慮結果的第一個元組，它按年齡 22 分組。它包含兩個袋子，第一個袋子包含第一個關係(在本例中為 student_details)的所有元組，第二個為年齡 22 bag 包含來自第二個關係(在本例中為 employee_details)的所有年齡為 22 的元組。如果關係沒有年齡值為 22 的元組，則它返回一個空包。

得到有空袋子的小組

讓我們列出這些空袋子emp_sales使用組中的關係IsEmpty()函數。

grunt> isempty_data = filter cogroup_data by IsEmpty(emp_sales);

確認

驗證關係isempty_data使用 DUMP 運算符，如下所示。這emp_sales關係保存關係中不存在的元組emp_bonus。

grunt> Dump isempty_data; 
  
(30,{},{(6,Omar,30,30000,admin)})