Python Pandas read_csv方法用法及代码示例

例子

基本用法

假设我们有以下名为 sample.txt 的文本文件，其中包含一些逗号分隔的数据：

A,B,C
3,4,5
6,7,8

将此文件作为 DataFrame 读取：

df = pd.read_csv("sample.txt")
df



   A  B  C
0  3  4  5
1  6  7  8

确保文本文件与 Python 脚本位于同一目录中。

指定标题

假设我们的sample.txt文件如下：

# I am a comment
A,B,C
3,4,5
6,7,8

这里，文件的第一行是空的，第二行是注释。

默认情况下， header=0 ，这意味着第一个有效行(非注释和非空行)将被视为列标签：

df = pd.read_csv("sample.txt", comment="#")      # header=0
df



   A  B  C
0  3  4  5
1  6  7  8

一个常见的错误是将 header=0 解释为文件的第一行。正如示例中所示，这不一定是正确的，因为 header 会忽略以下行：

• skip_blank_lines=True 时为空白(默认)

• 注释(如 comment 参数所示)。

指定列标签

假设我们的sample.txt文件如下：

3,4,5
6,7,8

请注意该文件不包含任何标头。

要提供列标签，请设置 names 参数，如下所示：

df = pd.read_csv("sample.txt", names=["A","B","C"])
df



   A  B  C
0  3  4  5
1  6  7  8

覆盖标题

假设我们的sample.txt文件如下：

A,B,C
3,4,5
6,7,8

请注意该文件如何包含标题行。

要覆盖标题行，请设置 header=0 和 names ：

df = pd.read_csv("sample.txt", header=0, names=["D","E","F"])
df



   D  E  F
0  3  4  5
1  6  7  8

指定index_col

假设我们的sample.txt如下：

A,B,C
a,3,4,5
b,6,7,8

由于从第二行开始有 4 个值(而不是 3 个)，read_csv(~) 将自动将第一列视为索引：

df = pd.read_csv("sample.txt")
df



   A  B  C
a  3  4  5
b  6  7  8

现在，考虑一个以 , 开头的文件，如下所示：

,A,B,C
a,3,4,5
b,6,7,8

由于每行包含相同数量的 , ，因此该方法不会将第一列视为值的一部分。为了确保第一列被视为索引，请像这样传递index_col=0：

df = pd.read_csv("sample.txt", index_col=0)
df



   A  B  C
a  3  4  5
b  6  7  8

指定 usecols

默认情况下，所有列都作为 DataFrame 读取和解析。您可以通过指定 usecols 参数来选择要包含的列。

考虑以下 sample.txt 文件：

A,B,C
3,4,5
6,7,8

仅读取A 和C 列：

df = pd.read_csv("sample.txt", usecols=["A","C"])
df



   A	C
0  3	5
1  6	8

您还可以传入 usecols 的函数，该函数接受列的标签作为参数，并返回一个布尔值，指示是否包含该列。

例如，仅包含带有标签 "B" 的列：

df = pd.read_csv("sample.txt", usecols=lambda x: x == "B")
df



   B
0  4
1  7

对于那些不熟悉 Python 中的 lambda 表达式的人来说，这相当于以下内容：

def foo(col_label):            # the name of the function is irrelevant. 
 return col_label == "B"
df = pd.read_csv("sample.txt", usecols=foo)
df



   B
0  4
1  7

指定mangle_dupe_cols

当列标签冲突时，后一列不会覆盖前一列 - 相反，mangle_dupe_cols=True 的默认行为是向后一列附加后缀。

考虑以下 sample.txt 文件：

A,B,A
3,4,5
6,7,8

使用默认参数读取此文件会产生：

df = pd.read_csv("sample.txt")
df



   A  B  A.1
0  3  4   5
1  6  7   8

尽管没有正式记录，但尚不支持 mangle_dupe_cols=False ，它应该允许重复标签。

指定数据类型

考虑以下 sample.txt 文件：

A,B
3,4
5,6

默认情况下，将从数据推断列类型：

df = pd.read_csv("sample.txt")
df.dtypes



A    int64
B    int64
dtype: object

设置所有列的类型：

df = pd.read_csv("sample.txt", dtype=float)
df.dtypes



A    float64
B    float64
dtype: object

要单独设置列的类型：

df = pd.read_csv("sample.txt", dtype={"A":float, "B":str})
df.dtypes



A    float64
B     object
dtype: object

指定转换器

Converters 参数非常有用，因为它允许我们对列值应用映射。

考虑以下 sample.txt 文件：

A,B,C
3,4,5
6,7,8

我们可以像这样转换特定列的值：

df = pd.read_csv("sample.txt", converters={"A": lambda x : int(x)+10, "C": lambda x : int(x) > 6})
df



   A   B  C
0  13  4  False
1  16  7  True

函数的参数是 string 类型的列值，这意味着我们必须首先将其转换为数值类型才能执行算术。

指定true_values和false_values

考虑以下 sample.txt 文件：

A,B,C
a,b,c
d,e,f

要将值 "a" 映射到 True 并将 "d" 映射到 False ：

df = pd.read_csv("sample.txt", true_values=["a"], false_values=["d"])
df



   A      B  C
0  True   b  c
1  False  e  f

请注意，只有像我们上面那样将整个列映射到布尔值时，映射才有效。例如，以下内容将无法按预期工作：

df = pd.read_csv("sample.txt", true_values=["a"], false_values=["f"])
df



   A  B  C
0  a  b  c
1  d  e  f

指定跳行

skiprows 参数是要跳过的行号(以整数索引表示)。它接受单个整数、整数序列或函数。由于前两者是不言自明的，我们将演示如何传递函数。该函数接受行标签作为参数，并输出一个布尔值，指示是否跳过该行。

考虑以下 sample.txt 文件：

A,B,C
3,4,5
6,7,8

要跳过第二行(具有整数索引 1 的行)：

df = pd.read_csv("sample.txt", skiprows= lambda x : x == 1)
df



   A  B  C
0  6  7  8

指定na_filter

考虑以下 sample.txt 文件：

A,B,C
3,4,nan
6,NaN,8

这里的问题是是否将 nan 和 NaN 视为字符串或实际缺失值(即 nan )。默认情况下， na_filter=True ，这意味着它们将被视为 nan ：

df = pd.read_csv("sample.txt")   # na_filter=True
df



   A  B    C
0  3  4.0  NaN
1  6  NaN  8.0

应该清楚的是，我们现在有了实际的 nan 值，但我们可以使用检查 nan 值的 df.isnull() 方法来确认这一点：

df.isnull()



   A      B      C
0  False  False  True
1  False  True   False

要将 nan 和 NaN 视为字符串，请像这样设置 na_filter=False：

df = pd.read_csv("sample.txt", na_filter=False)
df



   A  B    C
0  3  4    nan
1  6  NaN  8

然后我们再次调用 df.isnull() 来检查实际缺失值(nan)：

df.isnull()



   A      B      C
0  False  False  False
1  False  False  False

我们看到这些值都是False，这意味着它们被解释为字符串。

指定日期

将索引解析为日期

考虑以下sample.txt 文件：

name,gender
1995,alice,female
2005/12,bob,male

这里，索引(行标签)将被解析为日期。为此，请设置parse_date=True：

df = pd.read_csv("sample.txt", parse_dates=True)
df



            name   gender
1995-01-01  alice  female
2005-12-01  bob    male

默认日期格式为 YYYY-MM-DD ，未指定的日期和月份将用 01 填充，如输出中所示。

将非索引列解析为日期

考虑以下 sample.txt 文件：

name,admitted,graduated
alice,2014,2018
bob,2016,2020

正如我们之前所做的那样，设置 parse_date=True 意味着只有索引将被解析为日期。这对于该文件来说是不可取的，因为要解析的日期是非索引列。

要将 admitted 和 graduated 列解析为日期：

df = pd.read_csv("sample.txt", parse_dates=["admitted","graduated"])
df



   name   admitted    graduated
0  alice  2014-01-01  2018-01-01
1  bob    2016-01-01  2020-01-01

要确认我们列的数据类型：

df.dtypes



name                 object
admitted     datetime64[ns]
graduated    datetime64[ns]
dtype: object

组合多个日期列

考虑以下 sample.txt 文件：

Year,Month
2020,12
1994,02

在这里，我们有 2 个独立的列，我们希望将它们解析为单个日期列。我们可以通过传入嵌套列表来做到这一点，如下所示：

df = pd.read_csv("sample.txt", parse_dates=[["Year","Month"]])
df



   Year_Month
0  2020-12-01
1  1994-02-01

我们还可以通过传入 dict 来组合日期，如下所示：

df = pd.read_csv("sample.txt", parse_dates={"A":["Year","Month"]})
df



   A
0  2020-12-01
1  1994-02-01

使用 dict 而不是嵌套列表的优点是您可以为组合列提供标签(在本例中为 A)。

指定date_parser

考虑以下 sample.txt 文件：

Year,Month
2020,12
1994,02

date_parser 参数允许您指定如何解析日期字符串。

例如，要应用一年的偏移量：

import dateutil
from dateutil.relativedelta import relativedelta
def my_date_parser(*arg):
    date_time = datetime.strptime(arg[0], "%Y %m")
 return date_time + relativedelta(years=1)
df = pd.read_csv("sample.txt", parse_dates={"A":["Year","Month"]}, date_parser=my_date_parser)
df



   A
0  2021-12-01
1  1995-02-01

由于 date_parser 函数最多可以使用不同的参数调用 3 次，因此我们使用可变参数的语法 *args 。

为了分解 date_parser 的工作原理，假设我们打印出 arg 是什么：

def my_date_parser(*arg):
 print(arg)
    date_time = datetime.strptime(arg[0], "%Y %m")
 return date_time + relativedelta(years=1)



(array(['2020', '1994'], dtype=object), array(['12', '02'], dtype=object))
('2020 12',)
('1994 02',)

• 第一次调用 my_date_parser 时，将返回 2 个 Series ，每个都包含要组合的日期字符串。由于 datetime.striptime 函数接受字符串而不是系列，因此该函数实际上会引发错误。

• 但是，并没有终止程序，而是再次调用 my_date_parser - 这次传递的参数是单个日期字符串 ( '2020 12' )。 striptime可以正确解析，所以这次解析成功。

指定迭代器

考虑以下 sample.txt 文件：

A,B
1,2
3,4
5,6
7,8
9,10

通过设置 iterator=True ，该方法返回 TextFileReader 。当您想要像这样分块读取文件时，这非常有用：

reader = pd.read_csv("sample.txt", iterator=True)
print(reader.get_chunk(2))
print("-----")
print(reader.get_chunk(3))



   A  B
0  1  2
1  3  4
-----
   A   B
2  5   6
3  7   8
4  9  10

这里get_chunk(n)返回带有n行的DataFrame。除非您需要读取不同大小的块，否则请选择使用chunksize。

指定块大小

考虑以下 sample.txt 文件：

A,B
1,2
3,4
5,6
7,8
9,10

要分块读取此文件，请设置chunksize，如下所示：

for chunk in pd.read_csv("sample.txt", chunksize=2):
 print(chunk)
 print("-----")



   A  B
0  1  2
1  3  4
-----
   A  B
2  5  6
3  7  8
-----
   A   B
4  9  10
-----

在这里，每个 chunk 都是 DataFrame 类型。

指定千

考虑以下 sample.txt 文件：

A B
3,000 6,000,000

这里，我们的数据使用,来表示每千。

默认情况下，这些值将被视为字符串：

df = pd.read_csv("sample.txt", sep=" ")
df



   A      B
0  3,000  6,000,000

要将值视为数字，请像这样设置thousands：

df = pd.read_csv("sample.txt", sep=" ", thousands=",")
df



   A     B
0  3000  6000000

指定引号字符

当值包含令人困惑的分隔符时，quotechar 会派上用场。

考虑以下 sample.txt 文件：

A,B
3,4,5
6,7

在这里，请注意第二行包含 3 个值，而其他行仅包含 2 个值。在这种情况下调用read_csv(~)将导致错误。

如果您想将 3,4 视为单个值而不是两个单独的值，则可以将它们括在引号中。默认情况下 quotechar=" ，这意味着我们可以像这样否定分隔符：

A,B
"3,4",5
6,7

现在，调用 read_csv(~) 会产生：

df = pd.read_csv("sample.txt")
df



   A    B
0  3,4  5
1  6    7

请注意3,4 现在如何解释为单个条目。

指定转义字符

考虑以下sample.txt：

A,B
"3\"4",5
6,7

这里，内部 " 使用转义字符 "\" 进行转义。这表明我们希望将 3"4 读取为该条目的值，但错误地调用 read_csv(~) 会产生以下结果：

df = pd.read_csv("sample.txt")
df



   A     B
0  3\4"  5
1  6     7

发生这种情况是因为 Pandas 无法将 "\" 识别为转义字符，因此将内部 " 误解为 quotechar 。

要解决此问题，请设置 escapechar 以转义内部 " ：

df = pd.read_csv("sample.txt", escapechar="\\")
df



   A    B
0  3"4  5
1  6    7

在这里，我们需要"\\"，因为Python中的字符\是转义字符，因此仅使用"\"最终会转义结束"，从而导致语法错误。

指定注释

comment 参数用于标识注释 - 同一行中传递的字符之后的所有内容都将被视为注释，从而被忽略。

例如，考虑以下 sample.txt 文件：

A,B,C
3,4,5	# I am a comment
6,7,8	# I am a comment

忽略这些评论：

df = pd.read_csv("sample.txt", comment="#")
df



   A  B  C
0  3  4  5
1  6  7  8