问题描述:我需要在每个有数据的domain
中计算唯一的ID
值
ID, domain
123, 'vk.com'
123, 'vk.com'
123, 'twitter.com'
456, 'vk.com'
456, 'facebook.com'
456, 'vk.com'
456, 'google.com'
789, 'twitter.com'
789, 'vk.com'
我尝试过df.groupby(['domain', 'ID']).count()
,但输出不符合预期。我真正想获得的是:
domain, count
vk.com 3
twitter.com 2
facebook.com 1
google.com 1
即每个domain分组中不同的“ID”数量。
方法一:
您需要nunique
:
df = df.groupby('domain')['ID'].nunique()
print (df)
domain
'facebook.com' 1
'google.com' 1
'twitter.com' 2
'vk.com' 3
Name: ID, dtype: int64
如果需要strip
'
字符:
df = df.ID.groupby([df.domain.str.strip("'")]).nunique()
print (df)
domain
facebook.com 1
google.com 1
twitter.com 2
vk.com 3
Name: ID, dtype: int64
或者:
df.groupby(df.domain.str.strip("'"))['ID'].nunique()
您还可以像这样保留列名:
df = df.groupby(by='domain', as_index=False).agg({'ID': pd.Series.nunique})
print(df)
domain ID
0 fb 1
1 ggl 1
2 twitter 2
3 vk 3
区别在于nunique()
返回一个Series,agg()
返回一个DataFrame。
方法二
通常,要在单列中计算不同的值,可以使用Series.value_counts
:
df.domain.value_counts()
#'vk.com' 5
#'twitter.com' 2
#'facebook.com' 1
#'google.com' 1
#Name: domain, dtype: int64
要查看一列中有多少个唯一值,请使用Series.nunique
:
df.domain.nunique()
# 4
要获取所有这些不同的值,可以使用unique
或drop_duplicates
,这两个函数之间的细微差别是unique
返回numpy.array
,而drop_duplicates
返回pandas.Series
:
df.domain.unique()
# array(["'vk.com'", "'twitter.com'", "'facebook.com'", "'google.com'"], dtype=object)
df.domain.drop_duplicates()
#0 'vk.com'
#2 'twitter.com'
#4 'facebook.com'
#6 'google.com'
#Name: domain, dtype: object
对于本文最前面提到的这个特定的问题,由于您想针对另一个变量计算不同的值,除了这里其他答案提供的groupby
方法之外,您还可以先简单地删除重复项,然后再执行value_counts()
:
import pandas as pd
df.drop_duplicates().domain.value_counts()
# 'vk.com' 3
# 'twitter.com' 2
# 'facebook.com' 1
# 'google.com' 1
# Name: domain, dtype: int64
不同方法的性能对比
对于第二种方法,也可以尝试以下操作:
output = df.drop_duplicates()
output.groupby('domain').size()
输出:
domain
facebook.com 1
google.com 1
twitter.com 2
vk.com 3
dtype: int64
从性能来看,也可以使用效率稍低的value_counts
,但是最好的方法是使用nunique
:
%timeit df.drop_duplicates().groupby('domain').size()
1000 loops, best of 3: 939 µs per loop
%timeit df.drop_duplicates().domain.value_counts()
1000 loops, best of 3: 1.1 ms per loop
%timeit df.groupby('domain')['ID'].nunique()
1000 loops, best of 3: 440 µs per loop
参考资料