Pandas

安裝Pandas

檢查是否已安裝Pandas

import pandas

pandas.__version__

Pandas 的資料結構

• Series：單維度資料集，如一個列表或是試算表中某欄位的直向資料 ，用來處理時間序列相關的資料，主要為建立索引的一維陣列。

• DataFrame：雙維度資料集，如一個表格有欄和列，用來處理結構化的資料，例如關聯式資料庫、CSV 等等。

• Panel：三維度資料集，用來處理有資料及索引、列索引與欄標籤的三維資料集。

Series(串列或字典, index=索引)

資料為串列( list )

import pandas as pd

data = pd.Series([30, 15, 20])

condition = [True, False, True]

filtered = data[condition]

print(filtered)

import pandas as pd

data = pd.Series([30, 15, 20])

condition = data > 18

#print(condition)

filtered = data[condition]

print(filtered)

import pandas as pd

data = pd.Series(['ffn', 'numpy', 'pandas'])

condition = data.str.contains("p")

#print(condition)

filtered = data[condition]

print(filtered)

資料為字典( Dictionary )

import pandas as pd

dict = {

'pk1': 'ffn',

'pk2': "numpy",

'pk3': "pandas"

}

#data = pd.Series(dict, index = dict.keys()) # 排序與原 dict 相同

data = pd.Series(dict)

print(data)

DataFrame(串列或字典, index=索引)

資料為字典( Dictionary )

import pandas as pd

data = pd.DataFrame({

'name':['Amy', 'Bob', 'John'],

'age':[18,19,21]

})

condition = [True, False, True]

filtered = data[condition]

print(filtered)

或

import pandas as pd

nm = ['Amy', 'Bob', 'John']

ag = [18,19,21]

data = pd.DataFrame({

'name':nm,

'age':ag

})

condition = [True, False, True]

filtered = data[condition]

print(filtered)

import pandas as pd

data = pd.DataFrame({

'name':['Amy', 'Bob', 'John'],

'age':[18,19,21]

})

#print(data)

condition = data["age"]>=19

#condition = data['name']=='Bob'

filtered = data[condition]

print(filtered)

常用操作

• .size：回傳列資料數量

• .shape：回傳列數與欄數

• .index：回傳列索引

• .columns：回傳欄位名稱

• .describe()：回傳描述性統計

• .head(n)：回傳前n筆資料

• .tail(n)：回傳後n筆資料

• .info()：回傳資料內容

取列資料

• .iloc[1]：依據順序取得第二列資料，此為Series結構

• .iloc[索引]：依據索引取得列資料，此為Series結構

取欄資料

• data[欄位名稱]：此為Series結構

data = pd.DataFrame({

'name':['Amy', 'Bob', 'John'],

'age':[18,19,21]

}, index=['a','b','c'])

print(data)

print("------取得第二列資料-------")

print(data.iloc[1])

print("------依據索引取得列資料-------")

print(data.loc['c'])

print("------取得欄資料-------")

print(data['name'])

name = data['name']

print("------data['name']有o-------")

print(name.str.contains('o'))

print("------data['name']變大寫-------")

print(name.str.upper())

age = data['age']

print("------data['age']平均值-------")

print(age.mean())

data = pd.DataFrame({

'name':['Amy', 'Bob', 'John'],

'age':[18,19,21]

}, index=['a','b','c'])

print("-----------size-------------")

print(data.size)

print("-----------shape-------------")

print(data.shape)

print("-----------index-------------")

print(data.index)

print("-----------columns-----------")

print(data.columns)

print("--------describe()-----------")

print(data.describe())

print("----------head(2)-------------")

print(data.head(2))

print("----------tail(2)-------------")

print(data.tail(2))

print("----------info()-------------")

print(data.info())

資料排序

• .sort_index()：透過索引值做排序

• .sort_values()：透過指定欄位的數值排序

data = pd.DataFrame({

'name':['Bob', 'Amy', 'John'],

'age':[19,18,21]

}, index=['a','b','c'])

byindex = data.sort_index(axis = 0, ascending = True) # 透過索引值做排序，axis 可以指定第幾欄，ascending 用於設定升冪或降冪 .

print(byindex)

byvalues = data.sort_values(by = 'name') #透過指定欄位的數值排序

print(byvalues)

建立新欄位資料

• data[新欄位名稱] = 列表資料

• data[新欄位名稱] = Series結構資料

data['height']=[170,175,185]

#data['weight']=pd.Series([55,60,65],index=['a','b','c'])

#data['BMI']=data['weight']/(data['height']/100)**2

print(data)

資料為串列( list )

import pandas as pd

arr = groups = [["Amy", 18],["Bob", 19], ["John", 21]]

data = pd.DataFrame(arr, columns = ["name", "age"]) # 指定欄標籤名稱

print(data)

指定函式作用於每個元素資料

.apply(函式)：將給定函式作用於整個DataFrame內的一維向量上(各欄：預設為axis=0 )，若要作用於各列需指定參數axis=1

.applymap(函式)：將給定函式作用於整個DataFrame內的每個元素

.map(函式)：將給定函式只作用於一個Series內的每個元素

#計算出DataFrame內每欄中最大元素減去最小元素

df = pd.DataFrame({

'n1':[10.256, 7.256, 8.256],

'n2':[3.256, 4.256, 9.256],

'n3':[10.256, 7.256, 1.256]

})

fun = lambda x: x.max() - x.min()

# def fun(x) : return x.max() - x.min()

df = df.apply(fun)

print(df)

#計算出DataFrame內每列中最大元素減去最小元素，axis=1

df = pd.DataFrame({

'n1':[10.256, 7.256, 8.256],

'n2':[3.256, 4.256, 9.256],

'n3':[10.256, 7.256, 1.256]

})

fun = lambda x: x.max() - x.min()

# def fun(x) : return x.max() - x.min()

df = df.apply(fun, axis=1)

print(df)

#將DataFrame內每欄元素格式化為小數點第二位

df = pd.DataFrame({

'n1':[10.256, 7.256, 8.256],

'n2':[3.256, 4.256, 9.256],

'n3':[10.256, 7.256, 1.256]

})

# fun = lambda x: '{:.2f}'.format(x)

def fun(x) : return '{:.2f}'.format(x)

df = df.applymap(fun)

print(df)

將類型更改為數字

使用to_numeric(串列或list等一維度資料)

import pandas as pd

string = ['8', '9', '10']

series = pd.Series(string)

num = pd.to_numeric(series)

print(num)

使用參數errors

• raise ：預設值，無效值會引發異常訊息

• coerce：無效值轉為NaN

• ignore ：無效值忽略不處理

import pandas as pd

string = ['8', '9', 'a']

series = pd.Series(string)

num = pd.to_numeric(series, errors='coerce')

print(num)

使用astype(指定型態)

import pandas as pd

string = ['8', '9', '10']

series = pd.Series(string)

num = series.astype('int')

print(num)

import pandas as pd

string = ['8', '9', '10']

series = pd.Series(string)

num = series.astype('int')

print(num)

num = series.astype('int64')

print(num)

num = series.astype('str')

print(num)

讀取csv與檔案資料

使用read_csv(檔案位置)

• 檔案位置：或URL路徑，例如：'磁碟機:\\路徑\\..\\檔案'

• 回傳DataFrame資料，列索引預設為0,1,2.，欄索引預設為第一列

• 參數

  • header：預設為0，若第二列要成為欄索引可以設定header=1，若第一列為資料可以設定header=None，此時欄索引為0,1,2..

  • index_col：預設為None，指定某欄資料當作列索引，若第一欄資料要設定為列索引，可以設定index_col=0

• CSV檔案格式以逗號分隔資料，將以下資料使用記事本另存123.csv

c1,c2,c3

a,5,10

c,6,11

f,7,12

g,8,13

x,9,14

y,10,15

q,5,16

import pandas as pd

df = pd.read_csv('C:\\Users\\user\\Downloads\\123.csv', header=0, index_col=None)

#print(type(df))

print(df)

讀取html中表格內資料

使用read_html(網址)

import pandas as pd

df = pd.read_html('http://rate.bot.com.tw/xrt?Lang=zh-TW')

print(df[0])

import pandas as pd

df = pd.read_html('http://www.fina.fcu.edu.tw/wSite/lp?ctNode=34257&mp=415101&idPath=34054_34255')

print(df[1])