コンペの概要と参加のきっかけ

「第46回_Beginner限定コンペ」は、携帯電話の各種機能・スペックのデータから、その携帯電話の価格帯を予測するという課題のコンペティションです。価格帯は0から3の4クラスに分類されており、与えられた特徴量を用いて分類モデルを構築するのが目的でした。

Kaggleを含め、登録とTitanicだけして、その後本業の業務などが忙しくなり腰を据えてやる時間を取れなかった私ですが、今回少し時間に余裕ができたのとBeginner限定のコンペは学びの機会として最適だと感じ、また実データを使った課題に取り組むことで、実際のコンペの雰囲気をつかんでちょっと本腰でやろうと参加を決めました。

探索的データ分析（EDA）

コンペに参加したら、まずは与えられたデータを探索的に分析（EDA）しました。以下のようなコードを用いて、各特徴量の分布や価格帯との関係性を可視化してみました。

import seaborn as sns
import matplotlib.pyplot as plt

def plot_matrix(data):
    columns = data.columns[:-1]
    num_columns = len(columns)

    num_rows = (num_columns + 1) // 2
    num_cols = 2

    fig, axes = plt.subplots(num_rows, num_cols, figsize=(12, 4 * num_rows))

    for i, column in enumerate(columns):
        row = i // num_cols
        col = i % num_cols

        sns.histplot(data=data, x=column, ax=axes[row, col], hue="price_range", multiple="stack", bins=10, legend=False)

        axes[row, col].set_title(f'Distribution of {column}')
        axes[row, col].set_xlabel(column)
        axes[row, col].set_ylabel('Count')

    handles, labels = axes[0, 0].get_legend_handles_labels()
    fig.legend(handles, labels, title='Price Range', loc='upper right')

    if num_columns % 2 != 0:
        fig.delaxes(axes[-1, -1])

    plt.tight_layout()
    plt.show()

この可視化により、いくつかの特徴量で価格帯ごとに分布の違いが見られることがわかりました。この知見は特徴量の選択や前処理の方針を決める上で役立ちました。

データの前処理

EDAの結果を踏まえ、データの前処理を行いました。具体的には以下の2つの処理を実施しました。

1. px_heightをsc_hで、px_widthをsc_wで割った新たな変数を作成し、元の変数を削除
2. 0-1の範囲に収まらない変数について、最小値0、最大値1に正規化

これらの処理を以下の関数で実装しました。

from scipy.stats import norm

def data_cleansing(dataFrame):
    data = dataFrame.copy()
    data['sc_w'] = data['sc_w'].replace(0, 1)

    data['pxsc_h'] = data['px_height'] / data['sc_h'] * 10
    data['pxsc_w'] = data['px_width'] / data['sc_w'] * 10
    data = data.drop(['px_height', 'px_width', 'sc_h', 'sc_w'], axis=1)

    for column in data.columns:
        data[column] = (data[column] - data[column].min()) / (data[column].max() - data[column].min())

    return data

前処理の効果を確認するため、再度可視化を行ったところ、各特徴量の分布がより扱いやすい形に整えられていることが確認できました。

モデルの選択とハイパーパラメータ調整

前処理したデータを用いて、複数の機械学習モデルを試してみることにしました。今回は以下の５つのモデルを候補に選びました。

1. ランダムフォレスト
2. ロジスティック回帰
3. サポートベクターマシン（SVM）
4. ニューラルネットワーク（多層パーセプトロン）
5. XGBoost

各モデルのハイパーパラメータ調整には、Optunaというハイパーパラメータ自動最適化ツールを使用しました。例えば、ランダムフォレストの場合は以下のようなコードでハイパーパラメータ探索を行いました。

import optuna

def objective_rf(trial):
    params = {
        'n_estimators': trial.suggest_int('n_estimators', 50, 500),
        'max_depth': trial.suggest_int('max_depth', 2, 20),
        'min_samples_split': trial.suggest_int('min_samples_split', 2, 10),
        'min_samples_leaf': trial.suggest_int('min_samples_leaf', 1, 10),
    }
    model = RandomForestClassifier(**params, random_state=42)
    model.fit(X_train, y_train)
    y_pred = model.predict(X_test)
    accuracy = accuracy_score(y_test, y_pred)
    return accuracy

study_rf = optuna.create_study(direction='maximize')
study_rf.optimize(objective_rf, n_trials=100)
print("Best hyperparameters for Random Forest:", study_rf.best_params)
print("Best accuracy for Random Forest:", study_rf.best_value)

他のモデルについても同様にハイパーパラメータ探索を行い、各モデルの最適パラメータを求めました。

モデルの評価と改善

ハイパーパラメータ調整後、各モデルの性能を評価しました。評価指標には、accuracy（正解率）とclassification report（適合率、再現率、F1スコア）を用いました。

評価の結果、ランダムフォレストとXGBoostが特に高い性能を示しました。一方で、SVMはカーネルの種類によって大きく性能が変動し、調整が難しいことがわかりました。

そこで、ランダムフォレストとXGBoostをさらに改善することに注力しました。具体的には、特徴量の重要度を確認し、重要度の低い特徴量を削除することで、モデルの汎化性能を高める工夫をしました。

アンサンブル学習による最終提出

各モデルを改善した後、アンサンブル学習によって最終的な予測を行いました。具体的には、ランダムフォレスト、ロジスティック回帰、SVM、ニューラルネットワーク、XGBoostの予測結果を組み合わせ、多数決や平均化によって最終的な予測ラベルを決定しました。

以下は、予測結果を組み合わせるコードの一例です。

import numpy as np
from scipy import stats

def process_array(arr):
    result = []
    for row in arr:
        unique_elements, counts = np.unique(row, return_counts=True)
        if len(unique_elements) == 1:
            result.append(unique_elements[0])
        elif len(unique_elements) == 2:
            result.append(unique_elements[np.argmax(counts)])
        else:
            result.append(row[2])
    return np.array(result)

stacked = np.column_stack((rf_valid, lr_valid, svm_valid, nn_valid, xgb_valid))
result = process_array(stacked)

このアンサンブル学習によって、単体のモデルよりも高い性能を達成することができました。

参考にしたおススメのUdemy講座

Signateに参加するにあたり、Udemyの講座を参考にしました。その中で役に立ったなという講座を幾つかご紹介します。

Error

click.linksynergy.com

まず一つ目は、【ゼロから始めるデータ分析】 ビジネスケースで学ぶPythonデータサイエンス入門です。こちらは、Pythonでデータ分析を学べる実践的な講座です。ビジネスケースを通じて、データサイエンスの基礎から応用までを身につけられます。これからデータ分析を始める方におすすめの一作です。そしてなんといってもSignateさんが作っている講座です。

Error

click.linksynergy.com

二つ目は、26個ものアルゴリズムを理論と実践で学べる【世界で91万人が受講】基礎から理解し、Pythonで実装！機械学習26のアルゴリズムを理論と実践を通じてマスターしようです。Pythonでの実装力が身につき、機械学習エンジニアとしてのスキルアップに最適な内容です。初学者から上級者まで幅広くおすすめ。

Error

click.linksynergy.com

三つめは、データ分析と機械学習の基礎をPythonで学ぶ、豊富な演習問題とKaggle実践で身に付ける！『Python データ分析 & 機械学習 ～パーフェクトスターターコース』です。こちらは、コンペサイトのKaggleをテーマに豊富な演習問題とKaggle実践で実力が身につきます。丁寧な解説と充実した内容で、データサイエンティストを目指す方におすすめの一作です。

終わりに

本記事で紹介した探索的データ分析、前処理、モデル選択、ハイパーパラメータ調整、アンサンブル学習といった一連のプロセスを通じて、データ分析コンペで良い成績を収めるためのコツの一端が掴めたのではないかと思います。

もちろん、まだまだ改善の余地は多くあります。しかし、今回の経験を糧に、さらにスキルアップを重ねていきたいと思います。

データ分析や機械学習に興味のある方々にとって、本記事が少しでも参考になれば幸いです。

単変量での描画については以前の記事を参照してください。

Seabornの応用：displotを使いこなす - 見やすく効果的な分布データの可視化（単変量）

この記事では、Seabornのdisplotを使用してカテゴリデータを視覚化する方法について解説しました。displotを使うことで、データセット内の分布データを理解するのに役立ちます。 データの可視化における重要性やSeabornのdisplotがその役割を果たす方法について述べ、読者がデータ解析や洞察を得る際にこの強力なツールを活用することの重要性を強調しました。読者がこの記事を通じてdisplotの基本的な使い方を理解し、さらに応用的なプロットの作成やデータ解析に活かすことができれば幸いです。

www.ct-innovation.blog

2024.04.05

displotとは？

displotはSeabornライブラリの中で、2次元の分布を可視化するための便利な関数です。この関数は、ヒストグラムや密度曲線を描画することができ、それらを美しく見栄えの良いグラフにするためのオプションが多数用意されています。以下にdisplotの基本的な使い方と主要なパラメータについて説明します。

2変量分布とは

2変量分布とは、2つの確率変数の同時分布を表したものです。単に2つのヒストグラムを並べるのではなく、2変数間の相関関係なども表現されます。

displotの種類

分布プロットには、主に2つの種類があります。これに一つのオプションが追加できます。

1. histplot() (with kind=”hist”; the default)
2. kdeplot() (with kind=”kde”)

データの準備

今回は、seabornでサンプルとして準備されているデータを呼び出して使用します。

import seaborn as sns
import matplotlib.pyplot as plt

data = sns.load_dataset("penguins")

すべてに共通の引数

• data: プロットするデータのデータフレーム
• x: x軸のカテゴリデータの列名
• y: y軸のカテゴリデータの列名

histplot：ヒストグラム

histplot()の実装

ヒストグラムは、データの値の出現頻度を高さで表すグラフです。横軸はデータの値を表し、縦軸は各区間の値の出現回数(密度や確率に変換することも可能)を表します。

• データを区間(ビン)に分割し、各ビンの値の出現回数をカウントします。
• ビンの幅が狭いほど詳細な分布を捉えられますが、過度に狭いと雑音が目立ちます。
• カウント数を色の濃さでヒートマップ的に表現します。

ヒストグラムは分布の概形をパッと見て把握できる直感的なグラフです。

最小コード

sns.displot(data, x="bill_length_mm", y="bill_depth_mm")

様々なオプション

binwidth

データを区間(ビン)に分割するサイズを変更できる、ただしあまり幅を大きくとりすぎると特徴をうまく捉えられないので注意すること。

sns.displot(data, x="bill_length_mm", y="bill_depth_mm", binwidth=(2, 2))
sns.displot(data, x="bill_length_mm", y="bill_depth_mm", binwidth=(1, .5))

hue

ここに設定した列名のカテゴリに応じて色分けを行うことができる。

sns.displot(data, x="bill_length_mm", y="bill_depth_mm", hue="species")

col

各バーを重ねたり、積み重ねたりする代わりに、サブプロットとして別のグラフに分けて表示することも可能です。

sns.displot(data, x="flipper_length_mm", y="bill_depth_mm", col="species")

その他オプションによって、正規化することで観測を助ける方法もあります。

kdeplot：カーネル密度推定

kdeplot()の実装

密度曲線は、カーネル密度推定(Kernel Density Estimation: KDE)によってデータの確率密度関数を滑らかな曲線で描画します。

• カーネル関数を使って各データ点の周りに滑らかな曲線を重ね合わせ、密度曲線を推定します。
• ヒストグラムに比べてビン幅の設定に左右されない滑らかな分布を表せます。
• 等高線は密度の等比例で描画されます。

密度曲線は連続的なデータ分布をなめらかに可視化できる利点があります。

最小コード

sns.displot(data, x="bill_length_mm", y="bill_depth_mm", kind="kde")

様々なオプション

様々なオプションについては、histplotと同じのものが非常に多いので特に挙動が変わるもの独自のものにのみフォーカスすることにします。

hue

ここに設定した列名のカテゴリに応じて色分けを行うことができる。

sns.displot(data, x="bill_length_mm", y="bill_depth_mm", kind="kde", hue="species")

まとめ

displotは、データの分布を可視化するための強力なツールであり、様々な種類のグラフを簡単に作成できることがわかりました。適切に使用することで、データの特徴や傾向を把握し、洞察を得ることができます。

カテゴリデータの可視化についてはこちら

Seabornの応用：catplotを使いこなす - 見やすく効果的なカテゴリデータの可視化

この記事では、Seabornのcatplotを使用してカテゴリデータを視覚化する方法について解説しました。catplotを使うことで、データセット内のカテゴリごとのパターンや関係性を理解するのに役立ちます。 データの可視化における重要性やSeabornのcatplotがその役割を果たす方法について述べ、読者がデータ解析や洞察を得る際にこの強力なツールを活用することの重要性を強調しました。読者がこの記事を通じてcatplotの基本的な使い方を理解し、さらに応用的なプロットの作成やデータ解析に活かすことができれば幸いです。

www.ct-innovation.blog

2024.04.04

displotとは？

displotはSeabornライブラリの中で、1次元の分布を可視化するための便利な関数です。この関数は、ヒストグラムや密度曲線を描画することができ、それらを美しく見栄えの良いグラフにするためのオプションが多数用意されています。以下にdisplotの基本的な使い方と主要なパラメータについて説明します。

displotの種類

分布プロットには、主に3つの種類があります。これに一つのオプションが追加できます。

1. histplot() (with kind=”hist”; the default)
2. kdeplot() (with kind=”kde”)
3. ecdfplot() (with kind=”ecdf”)

• rugplot() (with rug=True)

データの準備

今回は、seabornでサンプルとして準備されているデータを呼び出して使用します。

import seaborn as sns
import matplotlib.pyplot as plt

data = sns.load_dataset("penguins")

すべてに共通の引数

• data: プロットするデータのデータフレーム
• x: x軸のカテゴリデータの列名
• rug: Trueを指定すると、x軸上にデータ点を小さな垂線で示します。

histplot：ヒストグラム

histplot()の実装

ヒストグラムは、データの値の出現頻度を高さで表すグラフです。横軸はデータの値を表し、縦軸は各区間の値の出現回数(密度や確率に変換することも可能)を表します。

• データを区間(ビン)に分割し、各ビンの値の出現回数をカウントします。
• ビンの幅が狭いほど詳細な分布を捉えられますが、過度に狭いと雑音が目立ちます。
• ビン数が多すぎると分布の大まかな形を捉えにくくなります。

ヒストグラムは分布の概形をパッと見て把握できる直感的なグラフです。

最小コード

sns.displot(data, x="flipper_length_mm")

様々なオプション

binwidth

データを区間(ビン)に分割するサイズを変更できる、ただしあまり幅を大きくとりすぎると特徴をうまく捉えられないので注意すること。

sns.displot(data, x="flipper_length_mm", binwidth=20)
sns.displot(data, x="flipper_length_mm", binwidth=3)

bins

データを区間(ビン)に分割する個数を変更できる、個数から幅を逆算される

sns.displot(data, x="flipper_length_mm", bins=15)

hue

ここに設定した列名のカテゴリに応じて色分けを行うことができる。

sns.displot(data, x="flipper_length_mm", hue="species")

multiple

各バーを重ねる代わりに、バーを「積み重ねる」こともできます。このプロットでは、アウトラインは、変数が1つだけのプロットと一致します。

sns.displot(data, x="flipper_length_mm", hue="species", multiple="stack")

col

各バーを重ねたり、積み重ねたりする代わりに、サブプロットとして別のグラフに分けて表示することも可能です。

sns.displot(data, x="flipper_length_mm", col="species")

その他オプションによって、正規化することで観測を助ける方法もあります。

kdeplot：カーネル密度推定

kdeplot()の実装

密度曲線は、カーネル密度推定(Kernel Density Estimation: KDE)によってデータの確率密度関数を滑らかな曲線で描画します。

• カーネル関数を使って各データ点の周りに滑らかな曲線を重ね合わせ、密度曲線を推定します。
• ヒストグラムに比べてビン幅の設定に左右されない滑らかな分布を表せます。
• カーネルの種類やカーネル幅のパラメータによって曲線の形状が変わります。

密度曲線は連続的なデータ分布をなめらかに可視化できる利点があります。

最小コード

sns.displot(data, x="flipper_length_mm", kind="kde")

様々なオプション

様々なオプションについては、histplotと同じのものが非常に多いので特に挙動が変わるもの独自のものにのみフォーカスすることにします。

bw_adjust

ヒストグラムのビン幅と同様に、KDEがデータを正確に表現できるかどうかは、平滑化帯域幅の選択に依存します。帯域幅を調整できます。やりすぎには気を付けましょう。

sns.displot(data, x="flipper_length_mm", kind="kde", bw_adjust=.25)
sns.displot(data, x="flipper_length_mm", kind="kde", bw_adjust=3)

hue

ここに設定した列名のカテゴリに応じて色分けを行うことができる。

sns.displot(data, x="flipper_length_mm", kind="kde", hue="species")

ecdfplot：累積分布関数

ecdfplot() の実装

累積分布関数(ECDF)は、データ点がその値以下になる割合(累積確率)を階段状のグラフで表します。

• データを小さい順に並び替え、各値の累積確率を計算してプロットします。
• 縦軸は累積確率(0から1)を表します。
• データの上側と下側の確率を眺めることができます。

ECDFは、データの全体的な分布や特定の値を下回る確率を視覚的に把握するのに役立ちます。

最小コード

sns.displot(data, x="flipper_length_mm", kind="ecdf")

hue

ここに設定した列名のカテゴリに応じて色分けを行うことができる。

sns.displot(data, x="flipper_length_mm", kind="ecdf", hue="species")

まとめ

displotは、データの分布を可視化するための強力なツールであり、様々な種類のグラフを簡単に作成できることがわかりました。適切に使用することで、データの特徴や傾向を把握し、洞察を得ることができます。

Catplotとは？

Catplotは、カテゴリ型の変数を含むデータセットの関係を可視化するためのSeabornの機能です。カテゴリ型の変数とは、離散的な値を持つ変数のことであり、性別や地域などが代表的な例です。Catplotは、カテゴリごとにデータを分析し、パターンや相関関係を可視化するのに役立ちます。

Catplotの種類

カテゴリプロットでは、主に3つの種類があります。そこから表現方法の違いで細分化すると8種類となります。

1. Categorical scatterplots：散布図
   • stripplot() (with kind=”strip”; the default)
   • swarmplot() (with kind=”swarm”)
2. Categorical distribution plots：分布図
   • boxplot() (with kind=”box”)
   • boxenplot() (with kind=”boxen”)
   • violinplot() (with kind=”violin”)
3. Categorical estimate plots：推定プロット
   • barplot() (with kind=”bar”)
   • countplot() (with kind=”count”)
   • pointplot() (with kind=”point”)

データの準備

今回は、seabornでサンプルとして準備されているデータを呼び出して使用します。

import seaborn as sns
import matplotlib.pyplot as plt

tips = sns.load_dataset("tips")

すべてに共通の引数

• data: プロットするデータのデータフレーム
• x: x軸のカテゴリデータの列名
• y: y軸のデータの列名
• row/col: 行列方向にプロットを小分けする変数の列名

Categorical scatterplots：散布図

stripplot()の実装

Strip Plotは、カテゴリごとのデータの分布や個々のデータ点を視覚的に表現するのに役立ちます。

1. 個々のデータ点の表示: 各データポイントがそのままプロットされ、その分布が視覚的にわかりやすくなります。これにより、データの分散や外れ値などを素早く把握することができます。
2. カテゴリごとの比較: 異なるカテゴリに属するデータの分布を比較するのに適しています。カテゴリごとにデータポイントの密度や分布を比較することができます。
3. Jittering（ジッタリング）: データポイントが重なる場合、ランダムなノイズを追加して、データの重なりを解消することができます。これにより、データの分布がより明確に表示されます。

最小コード

sns.catplot(x="day", y="total_bill", data=tips);

様々なオプション

jitter

一つの軸に対してプロットする際の横（縦）方向のずれの値を設定できる箇所だが、Falseを置くことでずれをなくすことも可能

sns.catplot(data=tips, x="day", y="total_bill", jitter=False)

hue

ここに設定した列名のカテゴリに応じて色分けを行うことができる。

sns.catplot(data=tips, x="day", y="total_bill", hue="sex")

dodge

上記のhueで色分けを行った場合に、そのカテゴリごとに軸を避けて描画できます。

sns.catplot(data=tips, x="day", y="total_bill", hue='sex', dodge=True)

これ以外にも今縦に積み上げているものをそのまま90度倒して横方向にするオプションに加え、プロットの色を指定したりサイズを指定することが可能です。

swarmplot()の実装

Strip Plotと同様に、個々のデータポイントをプロットしますが、Swarm Plotではデータポイント同士が重ならないように配置されます。しばしば「ミツバチの群れ」と称されるような見た目にかわります。

1. 個々のデータ点の表示: 各データポイントがそのままプロットされ、その分布が視覚的にわかりやすくなります。これにより、データの分散や外れ値などを素早く把握することができます。
2. データポイントの重なり防止: データポイント同士が重ならないように配置されます。これにより、データポイントの密度や分布をより正確に理解することができます。
3. カテゴリごとの比較: 異なるカテゴリに属するデータの分布を比較するのに適しています。カテゴリごとにデータポイントの密度や分布を比較することができます。

あまりに多いデータセットには向いていないようです。公式がアナウンスしています。

sns.catplot(data=tips, x="day", y="total_bill", hue="sex", kind="swarm")

様々なオプションについては、stripplotと同じのものが非常に多いので割愛します。

Categorical distribution plots：分布図

boxplot()の実装

データセットの中央値、四分位数、外れ値などの統計的特性を可視化するのに役立ちます。以下に、Box Plotの主な特徴と使用方法を説明します。

1. 中央値と四分位範囲の表示: 箱の中央にはデータの中央値が表示され、箱の上下の端には第1四分位数（25パーセンタイル）と第3四分位数（75パーセンタイル）が表示されます。
2. 箱の高さ: 箱の高さは、データの第1四分位数から第3四分位数までの範囲であり、データの中央50%を表します。箱の高さが短いほどデータのばらつきが小さいことを意味します。
3. ひげの表示: 箱の上下に延びる線（ひげ）は、データの範囲を表します。通常、ひげの長さは第1四分位数から1.5倍の四分位範囲と第3四分位数から1.5倍の四分位範囲の外にあるデータポイントまで伸びます。外れ値はひげの外側に単独で表示されます。
4. 外れ値の表示: 箱ひげ図は、データの中にある外れ値を視覚的に特定するのに役立ちます。外れ値は通常、ひげの外側に単独でプロットされます。

最小コード

sns.catplot(x="day", y="total_bill", kind="box", data=tips)

様々なオプション

様々なオプションについては、stripplotと同じのものが非常に多いので特に挙動が変わるもの独自のものにのみフォーカスすることにします。

hue

ここに設定した列名のカテゴリに応じてそれぞれを箱ひげ図にして色分け描画できる。

sns.catplot(data=tips, x="day", y="total_bill", hue="smoker", kind="box")

fill

塗りつぶしを行うかどうかを設定できます。

sns.catplot(data=tips, x="day", y="total_bill", hue="smoker", kind="box", fill=False)

boxenplot()の実装

Boxen Plotは、データの分布や中央値、四分位数などの統計的特性を視覚的に表現するのに役立ちます。以下のような特徴があります。

1. 拡張された箱ひげ図: 通常の箱ひげ図よりも多くの情報を提供します。特に、中央値や四分位数だけでなく、さらに深い統計情報を表示します。
2. サブグループの可視化: データをサブグループに分割して比較する場合に便利です。これにより、異なるカテゴリや条件におけるデータの分布を比較することができます。
3. データの密度の表示: データの分布に関する情報をより詳細に知ることができます。特に、データの密度が高い領域や外れ値が存在する領域を明確に表示します。

最小コード

sns.catplot(x="day", y="total_bill", kind="boxen", data=tips)

様々なオプション

様々なオプションについては、stripplotと同じのものが非常に多いので特に挙動が変わるもの独自のものにのみフォーカスすることにします。

saturation

グラフを描画する際に彩度を下げた方が見栄えがよくなることがよくあります、そういったとき、塗りつぶしの色を描画する元の彩度の比率で指定することができます。

sns.catplot(x="day", y="total_bill", kind="boxen", data=tips, saturation=.2)

violinplot() の実装

バイオリンプロットは、データの分布形状や中央値、四分位範囲などの統計的特性を視覚的に表現するのに役立ちます。以下に、Violin Plotの主な特徴と使用方法を説明します。

1. カーネル密度推定: バイオリンプロットは、各データセットのカーネル密度推定を行い、データの分布をなめらかな曲線で表現します。これにより、データの分布形状が視覚的に把握できます。
2. 中央値と四分位範囲の表示: バイオリンプロットには、中央値や四分位範囲などの要約統計量が含まれており、各データセットの中央値と四分位範囲を示します。
3. データの密度: バイオリンプロットの幅は、各データセットの密度を表します。幅が広いほどデータが集中していることを示し、幅が狭いほどデータが分散していることを示します。
4. 分布の比較: 複数のデータセットを同時にプロットすることで、異なるグループ間のデータ分布を比較することができます。

最小コード

sns.catplot(data=tips, x="total_bill", y="day", hue="sex", kind="violin")

様々なオプション

様々なオプションについては、stripplotと同じのものが非常に多いので特に挙動が変わるもの独自のものにのみフォーカスすることにします。

split

バイオリンを上下に「分割」することも可能で、先ほどの二つのバイオリンプロットの上側を男性、下側を女性にすることでスペースをより効率的に使用できます。

sns.catplot(data=tips, x="total_bill", y="day", hue="sex", kind="violin", split=True)

inner

ヴァイオリン内部のデータ表現を変更できます。デフォルトは「box」で箱ひげ図が描画される、「point」「stick」で各測定値にポイントやラインを描画が可能であり、「quart」で四分位数を表示できます。

sns.catplot(data=tips, x="total_bill", y="day", hue="sex", kind="violin", split=True, inner='stick')

Categorical estimate plots：推定プロット

barplot() の実装

Bar Plot（棒グラフ）は、カテゴリ別のデータを比較するために使用されるグラフィカルな手法です。カテゴリ別の数値データを棒状の縦棒で表現し、それらの高さを用いて相対的な値を比較します。以下に、Bar Plotの主な特徴と使用方法を説明します。

1. カテゴリ別の比較: Bar Plotは、異なるカテゴリのデータを簡単に比較できるようにします。例えば、商品カテゴリごとの売上や各月の売上など、カテゴリごとのデータを比較するのに適しています。
2. 相対的な大きさの視覚化: 棒の高さは、対応するカテゴリのデータの値を表します。高さが高いほど、そのカテゴリの値が大きいことを示します。
3. 複数の変数の比較: 複数のカテゴリや条件を含むデータセットの場合、複数の棒グラフを並べて表示することで、異なる条件やカテゴリ間の比較が容易になります。

最小コード

sns.catplot(data=tips, x="day", y="total_bill", kind="bar")

countplot() の実装

Count Plotは、カテゴリごとのデータの出現回数を可視化するためのグラフです。各カテゴリに属するデータ点の数を棒グラフやヒストグラムの形式で表示し、カテゴリごとの頻度を比較します。主にカテゴリ型の変数の分布を理解するために使用されます。

1. カテゴリの頻度の比較: Count Plotは、異なるカテゴリのデータの出現回数を直感的に比較できるようにします。カテゴリごとの頻度の違いを視覚的に把握できます。
2. データの集計と可視化: データセット内のカテゴリデータの出現回数を集計し、それを棒グラフやヒストグラムの形式で視覚化します。
3. カテゴリ型変数の分析: 主にカテゴリ型の変数（例：性別、地域、カテゴリなど）の分布を分析するのに適しています。

最小コード

sns.catplot(data=tips, x="day", kind="count")

pointplot() の実装

Point Plotは、カテゴリ変数と数値変数の関係を可視化するためのグラフです。各カテゴリの平均値や中央値などの集計値をポイントとしてプロットし、その間の信頼区間を線で表現します。Point Plotは、異なるカテゴリ間の数値の比較や傾向の把握に役立ちます。

1. カテゴリ間の数値比較: Point Plotは、カテゴリごとの数値の平均や中央値をポイントで示すことで、異なるカテゴリ間の数値の比較を容易にします。
2. 信頼区間の表示: ポイントの周りに表示される線は、信頼区間を表します。これにより、集計値のばらつきや統計的な信頼性を視覚的に評価できます。
3. 傾向の把握: カテゴリごとのポイントと信頼区間を比較することで、異なるカテゴリ間の傾向やパターンを把握するのに役立ちます。

最小コード

sns.catplot(data=tips, x="day", y="total_bill", kind="point", hue="sex")

それぞれのスタイルを個別に変更する

1. カラーマップの指定: paletteパラメータを使用して、辞書型で異なるカテゴリに対応する色を指定することができます。これにより、デフォルトの色以外の色を使用してプロットを作成できます。
2. ラインスタイルの指定: linestylesパラメータを使用して、リスト型で異なるカテゴリに対応するラインのスタイルを指定することができます。
3. マーカーの指定: markersパラメータを使用して、リスト型で異なるカテゴリに対応するマーカーを指定することができます。

sns.catplot(
    data=tips, x="day", y="total_bill", kind="point", hue="sex",
    palette={"Male": "g", "Female": "m"},
    markers=["^", "o"], linestyles=["-", "--"]
)

まとめ

Seabornのcatplotを使用することで、様々な種類のカテゴリデータを効果的に可視化することができます。散布図、分布図、推定プロットなど、さまざまな視覚化手法を使いこなし、データの特徴やパターンを理解しましょう。

Seabornとは

Seabornは、Pythonのデータ可視化ライブラリであり、Matplotlibのラッパーライブラリとして機能します。デフォルトで美しいグラフを生成し、統計的なデータを視覚化するための機能を豊富に提供しています。データセットの関係性を調査したり、異なる変数間のパターンを発見したりするのに役立ちます。

インストール

Seabornは、通常、pipコマンドを使用してインストールされます。

pip install seaborn

データの概要を確認する

題材はKaggleのTitanicを使うことにします。Titanicってなに？データを読み込むまでの方法は？という方は以前の記事を見てみてください。

Titanicをニューラルネットワークで予測する

この記事は、KaggleのことはじめであるTitanicの生存者予測というコンペティションに焦点を当てています。Kaggleは機械学習コミュニティの中心的存在であり、データ分析のコンペティションを通じて参加者がスキルを磨く場として知られています。Kaggleでの機械学習コンペティションに参加する際の手法やプロセスを理解し、自身のスキル向上に役立てることができます。

www.ct-innovation.blog

2019.03.23

【Kaggle】データの読み込み方

KaggleにおけるCompetition（コンペ）への参加方法を詳細に解説した記事です。タイタニックを題材にして、Competitionへの参加登録方法からKernelの作成、Datasetの準備までを丁寧に説明しています。Kaggle初心者にとって役立つ手順をわかりやすく示しています。

www.ct-innovation.blog

2019.02.23

まずはじめに、KaggleのTitanicデータセットを使用して、Seabornの機能を実際のデータに適用してみましょう。以下のコードを使用して、データセットを読み込みます。

import seaborn as sns
import pandas as pd

# Reading file
titanic = pd.read_csv("../input/train.csv")

データ確認

まずは、どんなデータが入っているのかを確認します。

titanic.head()

データの可視化

【pairplot】全組み合わせの相関グラフ

データセットの各変数同士の相関分析を簡単に実施できる関数としてpairplotがあります。

sns.pairplot(titanic[["Survived", "Pclass", "SibSp", "Parch", "Age", "Fare"]])
plt.show()

このままだと、分析は不可能なのである項目で色分けします。hue=**というキーワード引数に色分けしたいフィールドを書くとグループごとに色分けされます。

Survivedで色分けしましょう。0が死亡で1が生存なので青が死亡、オレンジが生存となります。

sns.pairplot(titanic[["Survived", "Pclass", "SibSp", "Parch", "Age", "Fare"]], 
             hue="Survived")
plt.show()

私は統計学のエキスパートではないのでこれを見てもParchのグラフを見るとParchが0の人は生存率が高そう…かな？ぐらいであとはさっぱりです。

この画像を作成するために以前紹介しているmatplotlibを使おうと思うとかなり大変です。subplotでこの数のグラフを準備してそれぞれのデータを入れてフォーマットを整える必要があります。

どうしてもやってみたい方は、こちらの記事を参考にやってみてください。

matplotlibの基本: 散布図の描画方法

本記事では、Pythonのデータ可視化ライブラリであるmatplotlibを使用して、散布図の描画方法に焦点を当てました。まず、基本的なプロットの手法から始め、その後、グラフの見た目をカスタマイズする方法や複数のデータセットを重ねて表示する方法について解説しました。

www.ct-innovation.blog

2018.07.09

【catplot】カテゴリーごとの棒グラフ

カテゴリー間の比較や分布を可視化するための有用な手法です。このグラフは、異なるカテゴリーに属するデータポイントの数値的な比較や分布を理解するのに役立ちます。こちらはcatplot関数で対応できます。

1．同乗した兄弟や配偶者の数と生存率

同乗した兄弟や配偶者の数のカテゴリに対して生存したかどうかの推定値（指定しなければ平均値）をプロットするようなコードとその結果です。推定値の周りの信頼区間も計算され、誤差範囲も黒いラインでプロットされます。

sib_s = sns.catplot(x="SibSp",y="Survived", data=titanic, kind="bar", size = 6 )
sib_s = sib_s.set_ylabels("survival prob")
plt.show()

あまり大家族だと生存率は高くないようです。救命ボートに全員で乗りたいが空きがなかったとかが原因なのでしょうか？ただ、そこまで重要なファクターではなさそうです。

2．性別と生存率

では、性別というカテゴリに対して生存したかどうかの推定値をプロットさせます。

s_s = sns.catplot(x="Sex", y="Survived", data=titanic, kind="bar", size=6)
s_s = s_s.set_ylabels("survival prob")
plt.show()

性別で見ると男性の生存率は結構低いことがわかります。

そういえば、ある映画でも描かれてましたが女性と子供を先にボートに乗せてましたね。

とにかく性別はそれなりに重要な特徴変数になりそうです。

3．チケットクラスと生存率

次に、チケットクラス（新幹線でいうと1がグリーン、2が指定席、3が自由席というイメージ）と生存に相関があるかどうかも同様に見ることができます。

c_s = sns.catplot(x="Pclass",y="Survived", data=titanic, kind="bar", size=6)
c_s = c_s.set_ylabels("survival prob")
plt.show()

チケットクラスは1等から順に生存率は下がっています。

やはり高いチケットを買った層は優先されているみたいです。

4．性別＋チケットクラスと生存率

さらに性別とチケットクラスの組み合わせが生存に相関があるかどうかも同様に見てみましょう。

c_s = sns.catplot(x="Pclass", y="Survived", hue="Sex",
                  data=titanic, kind="bar", size = 6 )
c_s = c_s.set_ylabels("survival prob")
plt.show()

ここで注目するところは、1等チケットを持っている男性よりも3等チケットを持った女性のほうが生存率が高いことです。

このことからチケットの格よりも性別のほうが重要なファクターであることが汲み取れますね。

【countplot】カテゴリごとのカウントグラフ

今度は性別と生死で場合分けを行ってカウントしてくれるcountplotを利用してみます。

count_s = sns.countplot(x="Sex", hue="Survived", data=titanic)
plt.show()

男性が100名程度に対して、女性は200名超の倍以上が助かっています。

この結果からやはり性別は重要なファクターであるといえそうです。

【FacetGrid】属性ごとのグラフ

最後に年齢のように連続値となっているデータにおいて生存率を調べたい場合catplotではうまく可視化できません。そこでFacetGrid関数を用いることで、0-10歳までのグループ、11-20歳までのグループといった属性に分けて、その属性ごとにグラフを描画させます。

無理やりcatplotした結果

Fg = sns.FacetGrid(titanic, col='Survived')
Fg = Fg.map(sns.distplot, "Age")

さらに性別で分けて生死で色分けした形で再度描画します。

Fg = sns.FacetGrid(titanic, col='Sex', hue="Survived")
Fg = Fg.map(sns.distplot, "Age").add_legend()

女性だけでなく子供も生存率が高いです。

年齢を10歳刻みで分けてファクターにするのは有効と考えられそうです。

結果

Seabornは、データの可視化を美しくグラフを非常にスマートなコードで実現できることがわかりました。この記事では、Seabornの基本的な使い方として、pairplot、catplot、countplot、FacetGridの4つの例を紹介しました。これらの機能を活用することで、データの傾向や関係性を視覚的に把握できることを実演しました。

Seabornを使ってデータを探索し、パターンを発見し、洞察を得るための幅広い機能が提供されています。データサイエンスや機械学習の分野で作業する際に、Seabornは強力な味方となることでしょう。