Apache Pig TOP()用法及代碼示例

這個TOP()Pig Latin的函數用於獲取topN包的元組。對於這個函數，作為輸入，我們必須傳遞一個關係、我們想要的元組數以及要比較其值的列名。此函數將返回一個包含所需列的包。

用法

下麵給出的是函數的語法TOP()。

grunt> TOP(topN,column,relation)

示例

假設我們有一個名為employee_details.txt在 HDFS 目錄中/pig_data/，內容如下。

employee_details.txt

001,Robin,22,newyork 
002,BOB,23,Kolkata 
003,Maya,23,Tokyo 
004,Sara,25,London 
005,David,23,Bhuwaneshwar 
006,Maggy,22,Chennai 
007,Robert,22,newyork 
008,Syam,23,Kolkata 
009,Mary,25,Tokyo 
010,Saran,25,London 
011,Stacy,25,Bhuwaneshwar 
012,Kelly,22,Chennai

我們已將此文件以關係名稱加載到 Pig 中emp_data如下所示。

grunt> emp_data = LOAD 'hdfs://localhost:9000/pig_data/ employee_details.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, city:chararray);

將關係分組emp_data按年齡，並將其存儲在關係中emp_group。

grunt> emp_group = Group emp_data BY age;

驗證關係emp_group使用轉儲operator如下所示。

grunt> Dump emp_group;
  
(22,{(12,Kelly,22,Chennai),(7,Robert,22,newyork),(6,Maggy,22,Chennai),(1,Robin, 22,newyork)}) 
(23,{(8,Syam,23,Kolkata),(5,David,23,Bhuwaneshwar),(3,Maya,23,Tokyo),(2,BOB,23, Kolkata)}) 
(25,{(11,Stacy,25,Bhuwaneshwar),(10,Saran,25,London),(9,Mary,25,Tokyo),(4,Sara, 25,London)})

現在，您可以獲得按升序排列的每個組的前兩條記錄(based on id) 如下所示。

grunt> data_top = FOREACH emp_group { 
   top = TOP(2, 0, emp_data); 
   GENERATE top; 
}

在這個例子中，我們正在檢索具有更大 id 的組的前 2 個元組。由於我們正在檢索前 2 個元組id，我們將列名 id 的索引作為 TOP() 函數的第二個參數傳遞。

確認

您可以驗證內容data_top關係使用Dump操作符如下圖。

grunt> Dump data_top;
  
({(7,Robert,22,newyork),(12,Kelly,22,Chennai)}) 
({(5,David,23,Bhuwaneshwar),(8,Syam,23,Kolkata)}) 
({(10,Saran,25,London),(11,Stacy,25,Bhuwaneshwar)})