【Python実践データ分析100本ノック】ノック46-50

#まずは、説明変数と目的変数のみを抜き出しています。
target_col=["campaign_name","class_name","gender","count_1","routine_flg","period","is_deleted"]
predict_data=predict_data[target_col]
predict_data.head()

#get_dummies()メソッドは、文字列でカテゴリーデータ（例えば性別）を、男を0, 女を1のように変換できます。
#機械学習の前処理として使用されることが多いです。
#predict_dataのデータセットのうち、文字列でカテゴリー分けされているデータ(campagin_name,class_name,genderなど)をダミー変数化します。
predict_data=pd.get_dummies(predict_data)
predict_data.head()

#余分な列を削除します。
del predict_data["campaign_name_通常"]
del predict_data["class_name_ナイト"]
del predict_data["gender_M"]
predict_data.head()

#DecisionTreeクラスのインポートから始めます。
from sklearn.tree import DecisionTreeClassifier
import sklearn.model_selection

#loc関数でis_deleted列の値（0または1）ごとに退会顧客と継続顧客のデータをそれぞれexit,conti変数に格納します。
exit=predict_data.loc[predict_data["is_deleted"]==1]
#.sample(len(exit))ですが、sample関数はノック43から登場しています。ランダムにデータセットを抽出します。
#引数でlen(exit)を指定して、exitデータの件数だけランダムサンプリングを行います。
#これでexitデータとcontiデータの件数をそろえています。
conti=predict_data.loc[predict_data["is_deleted"]==0].sample(len(exit))

#説明変数Xにexitとcontiを結合したデータを指定します。
X=pd.concat([exit,conti],ignore_index=True)
#is_deleted列を目的変数yとしています。
y=X["is_deleted"]
#説明変数Xから目的変数に指定したyを省きます。
del X["is_deleted"]
#ノック38でも登場したtrain_test_split関数で、学習用データ(train)と評価用データ(test)の分割を行います。
#割合を指定しないので、学習長データ75%、評価用データ25%で分割されます。
X_train,X_test,y_train,y_test=sklearn.model_selection.train_test_split(X,y)

#ここからモデル構築を行っていきます。
#まず、DecisionTreeClassifierクラスを指定します。
#random_state=で乱数の固定化(乱数固定化は結果の再現性を確保するために必要です)を行います。
model=DecisionTreeClassifier(random_state=0)
#学習用データをモデルに学習させます。
model.fit(X_train,y_train)
#評価用データの予測を行います。
y_test_pred=model.predict(X_test)
#評価用データの予測結果の出力を行います。
print(y_test_pred)

#評価用データ（正解となる教師データ）と予測したデータをresults_testデータフレームに格納します。
results_test=pd.DataFrame({"y_test":y_test,"y_pred":y_test_pred})
#結果を頭出しして予測が正しいかを確認します。
results_test.head()

#評価用データ(正解となる教師データ)と予測したデータの値が等しいデータ(つまり正解しているデータ)件数をcorrectに格納します。
correct=len(results_test.loc[results_test["y_test"]==results_test["y_pred"]])
data_count=len(results_test)
#正解データ件数÷全体データ件数つまり、正解率を計算します。
score_test=correct/data_count
print(score_test)

#ノック38と同様に、score()関数で学習用データを用いて決定係数を測定します。
print(model.score(X_test,y_test))
#評価用データを用いて決定係数を測定し、制度検証を行います。
print(model.score(X_train,y_train))

#説明変数Xにexitとcontiを結合したデータを指定します。
X=pd.concat([exit,conti],ignore_index=True)
#is_deleted列を目的変数yとしています。
y=X["is_deleted"]
#説明変数Xから目的変数に指定したyを省きます。
del X["is_deleted"]
#train_test_split関数で、学習用データ(train)と評価用データ(test)の分割を行います。
X_train,X_test,y_train,y_test=sklearn.model_selection.train_test_split(X,y)

#ここからモデルの再構築を行っていきます。
#DecisionTreeClassifierクラスを指定します。
#先ほどは登場しませんでしたが、新たにmax_depth=という引数が増えています。
#これは木構造の深さを5に指定して、5階層までで木構造の構築を止めるという意味です。
#ちなみに、指定しないと木構造の深さが伸び放題になります。
model=DecisionTreeClassifier(random_state=0,max_depth=5)
#学習用データをモデルに再学習させます。
model.fit(X_train,y_train)
#ノック38と同様に、score()関数で学習用データを用いて決定係数を測定します。
print(model.score(X_test,y_test))
#評価用データを用いて決定係数を測定し、精度検証を行います。
print(model.score(X_train,y_train))

#特徴量の重要度を調べていきます。
#"feature_name","coefficient"という列名で説明変数ごとの寄与変数の係数を確認してみます。
#feature_importances_では、重要変数を指定できます。
importance=pd.DataFrame({"feature_name":X.columns,"coefficient":model.feature_importances_})
importance

#モデルのインプットとなるのはモデル作成時に設定した説明変数です。
#説明変数にそれぞれ値を代入して、モデルとなる人物のデータをインプットします。
count_1=3
routine_flg=1
period=10
campaign_name="入会費無料"
class_name="オールタイム"
gender="M"

#カテゴリカル変数がインプットに含まれているので、ノック46と同様に、カテゴリカル変数→ダミー変数の変換を行います。
#if文を用いて、カテゴリカル変数であれば、ダミー変数のリストに変換して格納します。
if campaign_name=="入会費半額":
  campaign_name_list=[1,0]
elif campaign_name=="入会費無料":
  campaign_name_list=[0,1]
elif campaign_name=="通常":
  campaign_name_list=[0,0]
if class_name=="オールタイム":
  class_name_list=[1,0]
elif class_name=="デイタイム":
  class_name_list=[0,1]
elif class_name=="ナイト":
  class_name_list=[0,0]
if gender=="F":
  gender_list=[1]
elif gender=="M":
  gender_list=[0]
input_data=[count_1,routine_flg,period]
#extend()メソッドは、リストの末尾に別のリストを結合することができます。
#append()というメソッドを用いて要素を追加したことがありましたが、
#extendメソッドは要素でなく、リストやタプルを追加するという違いがあります。
input_data.extend(campaign_name_list)
input_data.extend(class_name_list)
input_data.extend(gender_list)

#ノック49でも使用したpredictメソッドを使い、予測値を計算します。
#モデルを使って、input_dataの退会予測を実行します。
print(model.predict([input_data]))
print(model.predict_proba([input_data])