【Python実践データ分析100本ノック】ノック11-15

#これまでと同様の方法でuriageのcsvファイルを読み込みます
import pandas as pd
uriage_data = pd.read_csv("uriage.csv")
uriage_data.head()

uriage_data["item_name"].head()

uriage_data["item_price"].head()

#ノック8と同様にto_datetimeで、purchase_dateを日時を表す文字列datetime(日付と時刻)に変換します。
uriage_data["purchase_date"] = pd.to_datetime(uriage_data["purchase_date"])
#ノック8と同様にdt.strftimeで引数に指定した書式文字列の形式にdatetimeを変換します。
#%Y：西暦年を表示。%m:月を表示。
#そして、purchase_monthという新たな列に形式を変えた後のpurchase_dateを格納しています。
uriage_data["purchase_month"] = uriage_data["purchase_date"].dt.strftime("%Y%m")
#ノック9と同様にpandasのpivot_tableメソッドを用いてデータ集計を行います。
#引数の中で指定するindex=,columns=,aggfunc=はノック9で解説させていただいたものと同様ですね。
#fill_value=:これはvalue（値）を"="で指定した値でfill（埋める）ことができます。
#今回は0を指定したので、欠損値があれば自動的に0で埋めてくれます。
res = uriage_data.pivot_table(index="purchase_month", columns="item_name", aggfunc="size", fill_value=0)
res

#strは文字列型といって大文字・小文字を変換したり、大文字・小文字かどうかを判定したりできます。
#str.upper()はすべての文字を大文字に変換できます。
uriage_data["item_name"] = uriage_data["item_name"].str.upper()
#str.replace()は引数に指定した文字列を同じく引数に指定した文字列に変換できます。
#今回は、"全角スペース"と"スペース無し"となっているで、全角スペース→スペース無しへの変換となります。
uriage_data[“item_name”] = uriage_data[“item_name”].str.replace(“  ”, “”)
#今回は、""の中に"半角スペース"と"スペースなし"となっているので、半角スペース→スペース無しへの変換となります。
uriage_data[“item_name”] = uriage_data[“item_name”].str.replace(" ", “”)
#uriage_dataを要素（今回は商品名）でソートします。引数にascending=Trueと記入しているので、昇順に並べます。
uriage_data.sort_values(by=[“item_name”], ascending=True)

#ノック7で登場したisnull()を使用して、指定した要素ごとに欠損値かどうかを判定しています。
#any()は行または列とごとにTrue(今回はnull)が一つでもあればTrueと判定するメソッドです。
#つまり、isnull().any()で行または列ごとに欠損値を一つでも含んでいるかを判定します。
#axis=0であれば列（縦方向）,axis=1であれば行（横方向）の判定をそれぞれ指定できます。
uriage_data.isnull().any(axis=0)

#isnull()を用いて、item_price列のうち欠損値が含まれるものをflg_is_nullとして新しい変数に格納しています。
flg_is_null = uriage_data["item_price"].isnull()
#for in でループを形成します。
#list()はリストを作成することができます。
#リストはミュータブル（変更可能）なデータ構造を持ち、要素の挿入や削除を自由に行うことができます。
#loc.[]は行と列のラベルを指定して1つの要素または範囲を指定して参照することができます。
#条件式のようなイメージですね。
#.unique()を用いると要素の固有値つまり、重複しないように要素を抜き出します。
#つまり、uriage_dataのflg_is_null列の固有値のみをリスト化してtrgという新しい変数に入れます。
for trg in list(uriage_data.loc[flg_is_null, "item_name"].unique()):
 #~はFalsetを表します。
 #.max()で最大値を取り出すことができます。
 #条件が複雑なので、外側から詳細に解読していきます。
 #まずuriage_data.loc[,"item_price"].max()ですが、
 #loc関数で何らかの条件に沿った行の"item_price"列の最大値を取得します。
 #次に(~flg_is_null)&(uriage_data["item_name"] == trg)ですが、
 #「flg_is_nullの中にいない」かつ「uriage_dataの“item_name”列のなかでとtrgの中にも存在する値、
 #つまり、欠損値があるitem_name」を満たすかを判定しています。
 #構文の解釈として、欠損値がある商品名と同じ商品名の金額データを取得してpriceの中に格納しています。 
 price = uriage_data.loc[(~flg_is_null) & (uriage_data["item_name"] == trg), "item_price"].max()
 #uriage_dataのitem_price列に対して、loc関数で欠損を起こしているデータを指定して、そこに１つ上の行で取得したpriceを格納しています。
 uriage_data["item_price"].loc[(flg_is_null) & (uriage_data["item_name"]==trg)] = price
uriage_data.head()

#先ほどの長い条件で金額の欠損値をしっかり埋めることができているかを確認します。
#unique()で重複なくすべてのitem_nameを取り出し、
#sort_values()で固有値をアルファベット順で並べたデータをリスト化してtrgに格納しています。
for trg in list(uriage_data["item_name"].sort_values().unique()):
 #ここでは、loc関数でuriage_dataのitem_name列からtrgの中にあるものと等しいもの、
 #つまりuriage_dataからもitem_nameの固有値を参照します。
 #uriage_dataにはitem_price列も存在するため、同じ行のitem_price列のデータの最大値を取得しています。
 #ざっくりいうと、trgの中にある商品名にと同じ名前の商品名をuriage_dataからも探して金額を取り出そうとしているイメージです。
 print(trg + "の最大額：" + str(uriage_data.loc[uriage_data["item_name"]==trg]["item_price"].max())
 #こちらは最大値ではなく、最小値を取り出そうとしていますが、ロジック自体は同じですね。
 #skipna=Falseは、NaN(欠損値)をskip（無視）するかを指定します。
 #今回はFalseなので、無視せず、NaNがあれば、そのままNaNと表示します。
 + "の最小額：" + str(uriage_data.loc[uriage_data["item_name"]==trg]["item_price"].min(skipna=False)))