Python pyspark DataFrame.select_dtypes用法及代碼示例

根據列 dtypes 返回 DataFrame 列的子集。

參數：

include, exclude：標量或類似列表

要包含/排除的數據類型或字符串的選擇。必須至少提供這些參數之一。它還采用 Spark SQL DDL 類型字符串，例如‘string’ 和‘date’。

返回：

DataFrame

幀的子集，包括 include 中的 dtype，不包括 exclude 中的 dtype。

拋出：

ValueError

• 如果include和exclude都為空

  >>> df = ps.DataFrame({'a': [1, 2] * 3,
  ...                    'b': [True, False] * 3,
  ...                    'c': [1.0, 2.0] * 3})
  >>> df.select_dtypes()
  Traceback (most recent call last):
  ...
  ValueError: at least one of include or exclude must be nonempty

• 如果 include 和 exclude 有重疊的元素

  >>> df = ps.DataFrame({'a': [1, 2] * 3,
  ...                    'b': [True, False] * 3,
  ...                    'c': [1.0, 2.0] * 3})
  >>> df.select_dtypes(include='a', exclude='a')
  Traceback (most recent call last):
  ...
  ValueError: include and exclude overlap on {'a'}

注意：

• 要選擇日期時間，請使用 np.datetime64 、 'datetime' 或 'datetime64'

例子：

>>> df = ps.DataFrame({'a': [1, 2] * 3,
...                    'b': [True, False] * 3,
...                    'c': [1.0, 2.0] * 3,
...                    'd': ['a', 'b'] * 3}, columns=['a', 'b', 'c', 'd'])
>>> df
   a      b    c  d
0  1   True  1.0  a
1  2  False  2.0  b
2  1   True  1.0  a
3  2  False  2.0  b
4  1   True  1.0  a
5  2  False  2.0  b

>>> df.select_dtypes(include='bool')
       b
0   True
1  False
2   True
3  False
4   True
5  False

>>> df.select_dtypes(include=['float64'], exclude=['int'])
     c
0  1.0
1  2.0
2  1.0
3  2.0
4  1.0
5  2.0

>>> df.select_dtypes(exclude=['int'])
       b    c  d
0   True  1.0  a
1  False  2.0  b
2   True  1.0  a
3  False  2.0  b
4   True  1.0  a
5  False  2.0  b

也可以使用 Spark SQL DDL 類型字符串。

>>> df.select_dtypes(exclude=['string'])
   a      b    c
0  1   True  1.0
1  2  False  2.0
2  1   True  1.0
3  2  False  2.0
4  1   True  1.0
5  2  False  2.0