sage/データ処理の基礎

FrontPage

2015/09/13からのアクセス回数 3784

ここで紹介したSageワークシートは、以下のURLからダウンロードできます。

http://www15191ue.sakura.ne.jp:8000/home/pub/64/

また、私の公開しているSageのサーバ（http://www15191ue.sakura.ne.jp:8000/） にユーザIDを作成することで、ダウンロードしたワークシートを アップロードし、実行したり、変更していろいろ動きを試すことができます。

データ処理の基礎 †

ここでは、pythonを使ってデータを取り扱う方法をまとめます。

使用するパッケージは、以下の3つです。

• ggplot: データのグラフ化パッケージ
• pandas: pythonでRのデータフレームと同様の処理をするパッケージ
• numpy: pythonで数値を処理する基本パッケージ

sageへの入力:

# ggplotとpandas, numpyが使えるようにインポートする
from ggplot import *
import numpy as np
import pandas as pd

なぜExcelではなく、pythonを使うのか？ †

自然な流れとして、「なぜExcelではなく、pythonを使うのか」という疑問が湧いてくるでしょう。

何でもできそうなExcelにも弱点があります。その大きなものは、カラム数の制限です。 大量のデータを処理するには、Excelのカラム数では不十分なのです。

データの取り込み †

pandasパッケージでは、様々なタイプのデータを取り扱うことができます。主に以下の３つのデータの取り扱い方を説明します。

• CSVファイル: カンマで区切られたファイルで最もよく使われているデータ形式
• Excelファイル: Microsoft Excelで作られたファイル
• データベース: データベース（MySQL）のテーブルやQuery結果

最初にCSVファイルを読み込む例を示します。読み込みファイルは、ローカルのファイル、 ネットワークで公開されているファイルの両方を指定することができます。

CSVのファイル読み込みには、read_csv関数を使用します。この関数の戻り値は、pandasのデータフレームです。

sageへの入力:

# 久保本の3章のデータをネットから取り込む
d = pd.read_csv('http://hosho.ees.hokudai.ac.jp/~kubo/stat/iwanamibook/fig/poisson/data3a.csv')
type(d)

<class 'pandas.core.frame.DataFrame'>

データの素性を知る †

読み込んだデータがどのような物なのかその素性をしるために、info、describe関数を使用します。

info関数では、dには100個のレコードが入っており、x, y, fの３つのカラムからできており、 xが整数、yは実数、fにはオブジェクトが入っており、欠損値（null）はないことが分かります。

sageへの入力:

# どのようなデータが入っているか調べる
d.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 100 entries, 0 to 99
Data columns (total 3 columns):
y    100 non-null int64
x    100 non-null float64
f    100 non-null object
dtypes: float64(1), int64(1), object(1)
memory usage: 3.1+ KB

このデータは、「データ解析のための統計モデリング入門」から引用しており、x, y, fは、以下の様な意味を持っています。

• \(y_i\): 個体iの種子数
• \(x_i\): 個体iのサイズ
• \(f_i\): 個体iが施肥処理ならT、肥料なしならC

describe関数では、各カラム毎に個数、平均、標準偏差、最小値、25%、50%、75%の値、最大値が表示されます。

sageへの入力:

# データのばらつきを見る
d.describe()

                y           x
count  100.000000  100.000000
mean     7.830000   10.089100
std      2.624881    1.008049
min      2.000000    7.190000
25%      6.000000    9.427500
50%      8.000000   10.155000
75%     10.000000   10.685000
max     15.000000   12.400000

実際にdにどのような値が入っているか調べるには、最初のn個を表示するhead、最後のn個を表示するtailが便利です。

sageへの入力:

# 最初の3個を表示してみる、最後の5個の場合には、tail(5)。個数を省略すると5個分のデータが表示される
d.head(3)

   y     x  f
0  6  8.31  C
1  6  9.44  C
2  6  9.50  C

行とカラム（列）の操作 †

pandasのデータフレームから特定のカラムや行を取り出す方法を以下に示します。

カラムの指定方法は、2通りあります。

データフレーム.カラム名
データフレーム['カラム名']

sageへの入力:

# カラム(列)を取り出す方法
print d.y.head()
print d['y'].head()

0     6
1     6
2     6
3    12
4    10
Name: y, dtype: int64
0     6
1     6
2     6
3    12
4    10
Name: y, dtype: int64

特定の行を取り出す場合には、ixを使って以下の様に指定します。

データフレーム.ix[行番号]

sageへの入力:

# 行を取り出す方法
print d.ix[0]

y       6
x    8.31
f       C
Name: 0, dtype: object

データの分布を知る †

データを可視化して、データの分布をみてみましょう。データの可視化には、ggplotパッケージを使用します。 ggplotは、Rのggplot2と同様の機能をpythonで使えるようにしたもので、今も開発が進んでいます。

ggplotでの図化は、ggplot関数に表示したい図を足し込んでいきます。

以下の例では、ggplotで、データフレームとx軸要素、y軸要素を指定し、 geom_point関数で散布図を指定し、print関数で表示すると図化されます。

sageへの入力:

# データの分布を知る
# ggplotに表示したいものを足していく（直感的な図化方法）
p = ggplot(d, aes(x='x', y='y'))
p += geom_point()
print(p)

<ggplot: (8767854380393)>

ggsave関数を使って表示された図をファイルに保存します。（sageではggsaveしないと表示されません）

sageへの入力:

# ファイルに保存して、表示（ここでは、dpi=50を指定して縮小して表示している）
ggsave('fig1.png', dpi=50)

Saving 11.0 x 8.0 in image.

fのタイプ（C, T）別にグラフを分けて表示するのも、facet_wrap関数を足すだけでできてしまいます。

sageへの入力:

# fの値でグラフを分けて表示する例
p = ggplot(d, aes(x='x', y='y'))
p += geom_point()
p += facet_wrap('f')
print(p)

<ggplot: (8767854380397)>

sageへの入力:

ggsave('fig2.png', dpi=50)

Saving 11.0 x 8.0 in image.

一番よく使うのは、プロットするときにf毎に色分けする方法です。

ggplotでは、aesのcolor属性に色別に使うカラム名を指定することで、カラム毎の色分けプロットができます。

sageへの入力:

# fの値で色を変えてプロット
p = ggplot(d, aes(x='x', y='y', color='f'))
p += geom_point()
print(p)

<ggplot: (8767854296293)>

sageへの入力:

ggsave('fig3.png', dpi=50)

Saving 11.0 x 8.0 in image.

データの加工 †

データフレームを使うとデータの加工がとても簡単にできます。 以下の様な処理も一行でできてしまいます。

• データの絞り込み
• SQLのgroup byと同様な集計処理

データの絞り込み †

データの絞り込みは、以下の形式で実行します。

データフレーム[絞り込み条件]

例として、施肥のあるものd.fがTの物だけを取り出すには、以下の様にd[d.f == 'T']とするだけです。

sageへの入力:

# データの絞り込み
# 施肥のあるもの（f=Tのもの）を取り出す
d_T = d[d.f == 'T']
d_T.head()

     y      x  f
50  14  10.14  T
51   6   9.05  T
52   7   9.89  T
53   9   8.76  T
54   6  12.04  T

sageへの入力:

# 同様に肥料のなしのもの
d_C = d[d.f == 'C']
d_C.head()

    y      x  f
0   6   8.31  C
1   6   9.44  C
2   6   9.50  C
3  12   9.07  C
4  10  10.16  C

集計処理 †

groupbyを使った集計の例として、種子数y毎の度数を計算してみましょう。

size関数を使うと、groupbyで指定されたレコードの数が返されます。

sageへの入力:

# 肥料なしの種子数y毎の度数
d_C.groupby('y').size()

y
2      1
3      2
4      3
5      4
6     10
7      1
8      5
9      8
10     9
11     4
12     3
dtype: int64

集計結果をggplotのヒストグラムと比較してみましょう。

ヒストグラムの追加は、geom_histogram関数で行い、binwidth=1と指定することで、 yを幅=1で集計します。fill='grey'で塗りつぶしの色をグレイに指定しています。

sageへの入力:

# F別のヒストグラムを表示
p = ggplot(d, aes(x='y'))
p += geom_histogram(aes(binwidth=1), fill='grey')
p += facet_wrap('f')
print(p)

<ggplot: (8767853573597)>

sageへの入力:

ggsave('fig4.png', dpi=50)

Saving 11.0 x 8.0 in image.

集計関数の例として、y毎の平均を出してみます。これも一行で計算できます。 sageへの入力:

# y毎のxの平均を知る
d_C.groupby('y').mean()

            x
y           
2    9.430000
3    8.730000
4    9.273333
5    8.282500
6    9.945000
7    9.450000
8   10.596000
9   10.088750
10   9.745556
11  10.012500
12  10.730000

データの書き出し †

pandasのデータフレームでは、データを他の形式で書き出すことができます。

• to_csv: CSVファイルに出力
• to_excel: Excel形式のファイルに出力
• to_sql: SQLを使ってデータベースに出力

例として、d_C_meanのデータフレームをExcel形式のファイルに出力してみます。

Excelでは、Excelのブック形式のファイルに複数のシートを保存することができ、データフレームはシート単位に保存されます。

最初にExcelWriterを作成し、このwriterを使ってd_C_meanを"mean"というシート名で保存します。

sageへの入力:

# 集計結果をExcelファイルに出力する
d_C_mean = d_C.groupby('y').mean()
writer = pd.ExcelWriter(DATA + 'test.xls')
d_C_mean.to_excel(writer, 'mean')
writer.close()

sageでは、作成されたExcelファイルtest.xlsがDATAフォルダーに保存され、 dataメニューから作成されたtest.xlsをダウンロードできます。

ダウンロードしたtest.xlsを開くと、以下の様に表示されます。

データベース連携 †

sageには、sqliteというデータベースが入っていますが、日付の扱いが特殊なので、 ここではMySQLを使ってpandasのデータベース連携機能を説明します。

このWindows版sageには、MySQLを別途インストールしてあり、 sagedbデータベース, sageユーザもセットしてあります。

MySQLをpythonから使うには、以下のインポート文が必要です。

sageへの入力:

# MySQLとpandaの連携
import pandas.io.sql as sql
import MySQLdb

データベースを使うための準備 †

データベースを使うためには、データベースに接続する必要があります。 また、最後には接続conのクローズも必要です。

sageへの入力:

# データベースを使うための準備
con = MySQLdb.connect(host='localhost', db='sagedb', user='sage', passwd='sage')
cur = con.cursor()
# 日本語コードのセット
cur.execute("SET NAMES utf8")

0L

データフレームをデータベースのテーブルに入れる †

先に、CSVファイルから読み込んだデータフレームdをテーブルt_dに挿入してみます。

sageへの入力:

# データフレームdをテーブルt_dに入れる
sql.write_frame(d, con=con, name='t_d', if_exists='replace', flavor='mysql')

クエリーの実行 †

準備ができたので、テーブルt_dから種子数y毎の頻度をSQLを使って計算してみます。

SQL文は、以下のようにします。

    FROM t_d
    GROUP BY y;

注意する点は、count(y)などの集計されたカラムに必ず名前を付けておくことです。ここでは、cnt_yとしました。 このようにすることで、結果として返されたデータフレームresult_1で集計値を簡単に参照することができます。

sageへの入力:

# クエリーの実行
query_1 = """
SELECT y, count(y) AS cnt_y
    FROM t_d
    GROUP BY y;
"""
result_1 = sql.frame_query(query_1, con)
print result_1.head()
print result_1.cnt_y.head()

   y  cnt_y
0  2      1
1  3      3
2  4      5
3  5      9
4  6     20
0     1
1     3
2     5
3     9
4    20
Name: cnt_y, dtype: int64

sageへの入力:

# データベースのクローズ
con.close()

コメント †

選択肢	投票
おもしろかった	2
そうでもない	0
わかりずらい	1

皆様のご意見、ご希望をお待ちしております。

お名前:

(Input image string)