Python Pandas read_csv方法用法及代碼示例

例子

基本用法

假設我們有以下名為 sample.txt 的文本文件，其中包含一些逗號分隔的數據：

A,B,C
3,4,5
6,7,8

將此文件作為 DataFrame 讀取：

df = pd.read_csv("sample.txt")
df



   A  B  C
0  3  4  5
1  6  7  8

確保文本文件與 Python 腳本位於同一目錄中。

指定標題

假設我們的sample.txt文件如下：

# I am a comment
A,B,C
3,4,5
6,7,8

這裏，文件的第一行是空的，第二行是注釋。

默認情況下， header=0 ，這意味著第一個有效行(非注釋和非空行)將被視為列標簽：

df = pd.read_csv("sample.txt", comment="#")      # header=0
df



   A  B  C
0  3  4  5
1  6  7  8

一個常見的錯誤是將 header=0 解釋為文件的第一行。正如示例中所示，這不一定是正確的，因為 header 會忽略以下行：

• skip_blank_lines=True 時為空白(默認)

• 注釋(如 comment 參數所示)。

指定列標簽

假設我們的sample.txt文件如下：

3,4,5
6,7,8

請注意該文件不包含任何標頭。

要提供列標簽，請設置 names 參數，如下所示：

df = pd.read_csv("sample.txt", names=["A","B","C"])
df



   A  B  C
0  3  4  5
1  6  7  8

覆蓋標題

假設我們的sample.txt文件如下：

A,B,C
3,4,5
6,7,8

請注意該文件如何包含標題行。

要覆蓋標題行，請設置 header=0 和 names ：

df = pd.read_csv("sample.txt", header=0, names=["D","E","F"])
df



   D  E  F
0  3  4  5
1  6  7  8

指定index_col

假設我們的sample.txt如下：

A,B,C
a,3,4,5
b,6,7,8

由於從第二行開始有 4 個值(而不是 3 個)，read_csv(~) 將自動將第一列視為索引：

df = pd.read_csv("sample.txt")
df



   A  B  C
a  3  4  5
b  6  7  8

現在，考慮一個以 , 開頭的文件，如下所示：

,A,B,C
a,3,4,5
b,6,7,8

由於每行包含相同數量的 , ，因此該方法不會將第一列視為值的一部分。為了確保第一列被視為索引，請像這樣傳遞index_col=0：

df = pd.read_csv("sample.txt", index_col=0)
df



   A  B  C
a  3  4  5
b  6  7  8

指定 usecols

默認情況下，所有列都作為 DataFrame 讀取和解析。您可以通過指定 usecols 參數來選擇要包含的列。

考慮以下 sample.txt 文件：

A,B,C
3,4,5
6,7,8

僅讀取A 和C 列：

df = pd.read_csv("sample.txt", usecols=["A","C"])
df



   A	C
0  3	5
1  6	8

您還可以傳入 usecols 的函數，該函數接受列的標簽作為參數，並返回一個布爾值，指示是否包含該列。

例如，僅包含帶有標簽 "B" 的列：

df = pd.read_csv("sample.txt", usecols=lambda x: x == "B")
df



   B
0  4
1  7

對於那些不熟悉 Python 中的 lambda 表達式的人來說，這相當於以下內容：

def foo(col_label):            # the name of the function is irrelevant. 
 return col_label == "B"
df = pd.read_csv("sample.txt", usecols=foo)
df



   B
0  4
1  7

指定mangle_dupe_cols

當列標簽衝突時，後一列不會覆蓋前一列 - 相反，mangle_dupe_cols=True 的默認行為是向後一列附加後綴。

考慮以下 sample.txt 文件：

A,B,A
3,4,5
6,7,8

使用默認參數讀取此文件會產生：

df = pd.read_csv("sample.txt")
df



   A  B  A.1
0  3  4   5
1  6  7   8

盡管沒有正式記錄，但尚不支持 mangle_dupe_cols=False ，它應該允許重複標簽。

指定數據類型

考慮以下 sample.txt 文件：

A,B
3,4
5,6

默認情況下，將從數據推斷列類型：

df = pd.read_csv("sample.txt")
df.dtypes



A    int64
B    int64
dtype: object

設置所有列的類型：

df = pd.read_csv("sample.txt", dtype=float)
df.dtypes



A    float64
B    float64
dtype: object

要單獨設置列的類型：

df = pd.read_csv("sample.txt", dtype={"A":float, "B":str})
df.dtypes



A    float64
B     object
dtype: object

指定轉換器

Converters 參數非常有用，因為它允許我們對列值應用映射。

考慮以下 sample.txt 文件：

A,B,C
3,4,5
6,7,8

我們可以像這樣轉換特定列的值：

df = pd.read_csv("sample.txt", converters={"A": lambda x : int(x)+10, "C": lambda x : int(x) > 6})
df



   A   B  C
0  13  4  False
1  16  7  True

函數的參數是 string 類型的列值，這意味著我們必須首先將其轉換為數值類型才能執行算術。

指定true_values和false_values

考慮以下 sample.txt 文件：

A,B,C
a,b,c
d,e,f

要將值 "a" 映射到 True 並將 "d" 映射到 False ：

df = pd.read_csv("sample.txt", true_values=["a"], false_values=["d"])
df



   A      B  C
0  True   b  c
1  False  e  f

請注意，隻有像我們上麵那樣將整個列映射到布爾值時，映射才有效。例如，以下內容將無法按預期工作：

df = pd.read_csv("sample.txt", true_values=["a"], false_values=["f"])
df



   A  B  C
0  a  b  c
1  d  e  f

指定跳行

skiprows 參數是要跳過的行號(以整數索引表示)。它接受單個整數、整數序列或函數。由於前兩者是不言自明的，我們將演示如何傳遞函數。該函數接受行標簽作為參數，並輸出一個布爾值，指示是否跳過該行。

考慮以下 sample.txt 文件：

A,B,C
3,4,5
6,7,8

要跳過第二行(具有整數索引 1 的行)：

df = pd.read_csv("sample.txt", skiprows= lambda x : x == 1)
df



   A  B  C
0  6  7  8

指定na_filter

考慮以下 sample.txt 文件：

A,B,C
3,4,nan
6,NaN,8

這裏的問題是是否將 nan 和 NaN 視為字符串或實際缺失值(即 nan )。默認情況下， na_filter=True ，這意味著它們將被視為 nan ：

df = pd.read_csv("sample.txt")   # na_filter=True
df



   A  B    C
0  3  4.0  NaN
1  6  NaN  8.0

應該清楚的是，我們現在有了實際的 nan 值，但我們可以使用檢查 nan 值的 df.isnull() 方法來確認這一點：

df.isnull()



   A      B      C
0  False  False  True
1  False  True   False

要將 nan 和 NaN 視為字符串，請像這樣設置 na_filter=False：

df = pd.read_csv("sample.txt", na_filter=False)
df



   A  B    C
0  3  4    nan
1  6  NaN  8

然後我們再次調用 df.isnull() 來檢查實際缺失值(nan)：

df.isnull()



   A      B      C
0  False  False  False
1  False  False  False

我們看到這些值都是False，這意味著它們被解釋為字符串。

指定日期

將索引解析為日期

考慮以下sample.txt 文件：

name,gender
1995,alice,female
2005/12,bob,male

這裏，索引(行標簽)將被解析為日期。為此，請設置parse_date=True：

df = pd.read_csv("sample.txt", parse_dates=True)
df



            name   gender
1995-01-01  alice  female
2005-12-01  bob    male

默認日期格式為 YYYY-MM-DD ，未指定的日期和月份將用 01 填充，如輸出中所示。

將非索引列解析為日期

考慮以下 sample.txt 文件：

name,admitted,graduated
alice,2014,2018
bob,2016,2020

正如我們之前所做的那樣，設置 parse_date=True 意味著隻有索引將被解析為日期。這對於該文件來說是不可取的，因為要解析的日期是非索引列。

要將 admitted 和 graduated 列解析為日期：

df = pd.read_csv("sample.txt", parse_dates=["admitted","graduated"])
df



   name   admitted    graduated
0  alice  2014-01-01  2018-01-01
1  bob    2016-01-01  2020-01-01

要確認我們列的數據類型：

df.dtypes



name                 object
admitted     datetime64[ns]
graduated    datetime64[ns]
dtype: object

組合多個日期列

考慮以下 sample.txt 文件：

Year,Month
2020,12
1994,02

在這裏，我們有 2 個獨立的列，我們希望將它們解析為單個日期列。我們可以通過傳入嵌套列表來做到這一點，如下所示：

df = pd.read_csv("sample.txt", parse_dates=[["Year","Month"]])
df



   Year_Month
0  2020-12-01
1  1994-02-01

我們還可以通過傳入 dict 來組合日期，如下所示：

df = pd.read_csv("sample.txt", parse_dates={"A":["Year","Month"]})
df



   A
0  2020-12-01
1  1994-02-01

使用 dict 而不是嵌套列表的優點是您可以為組合列提供標簽(在本例中為 A)。

指定date_parser

考慮以下 sample.txt 文件：

Year,Month
2020,12
1994,02

date_parser 參數允許您指定如何解析日期字符串。

例如，要應用一年的偏移量：

import dateutil
from dateutil.relativedelta import relativedelta
def my_date_parser(*arg):
    date_time = datetime.strptime(arg[0], "%Y %m")
 return date_time + relativedelta(years=1)
df = pd.read_csv("sample.txt", parse_dates={"A":["Year","Month"]}, date_parser=my_date_parser)
df



   A
0  2021-12-01
1  1995-02-01

由於 date_parser 函數最多可以使用不同的參數調用 3 次，因此我們使用可變參數的語法 *args 。

為了分解 date_parser 的工作原理，假設我們打印出 arg 是什麽：

def my_date_parser(*arg):
 print(arg)
    date_time = datetime.strptime(arg[0], "%Y %m")
 return date_time + relativedelta(years=1)



(array(['2020', '1994'], dtype=object), array(['12', '02'], dtype=object))
('2020 12',)
('1994 02',)

• 第一次調用 my_date_parser 時，將返回 2 個 Series ，每個都包含要組合的日期字符串。由於 datetime.striptime 函數接受字符串而不是係列，因此該函數實際上會引發錯誤。

• 但是，並沒有終止程序，而是再次調用 my_date_parser - 這次傳遞的參數是單個日期字符串 ( '2020 12' )。 striptime可以正確解析，所以這次解析成功。

指定迭代器

考慮以下 sample.txt 文件：

A,B
1,2
3,4
5,6
7,8
9,10

通過設置 iterator=True ，該方法返回 TextFileReader 。當您想要像這樣分塊讀取文件時，這非常有用：

reader = pd.read_csv("sample.txt", iterator=True)
print(reader.get_chunk(2))
print("-----")
print(reader.get_chunk(3))



   A  B
0  1  2
1  3  4
-----
   A   B
2  5   6
3  7   8
4  9  10

這裏get_chunk(n)返回帶有n行的DataFrame。除非您需要讀取不同大小的塊，否則請選擇使用chunksize。

指定塊大小

考慮以下 sample.txt 文件：

A,B
1,2
3,4
5,6
7,8
9,10

要分塊讀取此文件，請設置chunksize，如下所示：

for chunk in pd.read_csv("sample.txt", chunksize=2):
 print(chunk)
 print("-----")



   A  B
0  1  2
1  3  4
-----
   A  B
2  5  6
3  7  8
-----
   A   B
4  9  10
-----

在這裏，每個 chunk 都是 DataFrame 類型。

指定千

考慮以下 sample.txt 文件：

A B
3,000 6,000,000

這裏，我們的數據使用,來表示每千。

默認情況下，這些值將被視為字符串：

df = pd.read_csv("sample.txt", sep=" ")
df



   A      B
0  3,000  6,000,000

要將值視為數字，請像這樣設置thousands：

df = pd.read_csv("sample.txt", sep=" ", thousands=",")
df



   A     B
0  3000  6000000

指定引號字符

當值包含令人困惑的分隔符時，quotechar 會派上用場。

考慮以下 sample.txt 文件：

A,B
3,4,5
6,7

在這裏，請注意第二行包含 3 個值，而其他行僅包含 2 個值。在這種情況下調用read_csv(~)將導致錯誤。

如果您想將 3,4 視為單個值而不是兩個單獨的值，則可以將它們括在引號中。默認情況下 quotechar=" ，這意味著我們可以像這樣否定分隔符：

A,B
"3,4",5
6,7

現在，調用 read_csv(~) 會產生：

df = pd.read_csv("sample.txt")
df



   A    B
0  3,4  5
1  6    7

請注意3,4 現在如何解釋為單個條目。

指定轉義字符

考慮以下sample.txt：

A,B
"3\"4",5
6,7

這裏，內部 " 使用轉義字符 "\" 進行轉義。這表明我們希望將 3"4 讀取為該條目的值，但錯誤地調用 read_csv(~) 會產生以下結果：

df = pd.read_csv("sample.txt")
df



   A     B
0  3\4"  5
1  6     7

發生這種情況是因為 Pandas 無法將 "\" 識別為轉義字符，因此將內部 " 誤解為 quotechar 。

要解決此問題，請設置 escapechar 以轉義內部 " ：

df = pd.read_csv("sample.txt", escapechar="\\")
df



   A    B
0  3"4  5
1  6    7

在這裏，我們需要"\\"，因為Python中的字符\是轉義字符，因此僅使用"\"最終會轉義結束"，從而導致語法錯誤。

指定注釋

comment 參數用於標識注釋 - 同一行中傳遞的字符之後的所有內容都將被視為注釋，從而被忽略。

例如，考慮以下 sample.txt 文件：

A,B,C
3,4,5	# I am a comment
6,7,8	# I am a comment

忽略這些評論：

df = pd.read_csv("sample.txt", comment="#")
df



   A  B  C
0  3  4  5
1  6  7  8