pythonでcsvを読み込み、pandasのdataframe型に変換する方法です。
出現頻度激高なので、関数化していつでも使えるようにしましょう
本日の伝えたいこと
✔ pythonでcsvファイルのdataframe型への変換は、 必須スキル
困ったこと
Python初心者の時、時系列のcsvファイルをどうやってpythonで扱えばいいかわからない
内容
pythonでcsvデータを効率的に扱うには、
pandasを使ってdataframe型にする必要がある
メリット
dataframe型になることで、すべての解析が容易になる
解決方法
Pandasのwindowsへのインストール
Pandas以外も含めてwindowsインストールを全てまとめてくれている
ありがたいサイトがありましたので添付させていただきます。
WindowsでPython3, numpy, pandas, matplotlibなどインストール - Qiita
WindowsでPythonを動かすマゾ需要が高いらしいので更新しました
最近僕はPython3を使っているので3前提で書いてます...
qiita.com
サンプルコード
import pandas as pd
def dataframe_parser(fname):
df = pd.read_csv(fname, encoding=”cp932″)
return dfpython2から3になった段階でencodingでの文字化けもなくなり、
2バイト文字対応でどんどん使いやすくなってるのは、嬉しいが
そこにたくさん時間を使ってきた自分としては少し悲しい。。。
実際の現場で求められること
自分でログデータツールまで作る場合には、csvのようにわかりやすい形にできるので良いが
実際の現場では他社ツールや、容量削減のためのバイナリ化などで
csvの形にするまでが大体一苦労する。
csv化したファイルは時間をかけずに即解析できる能力が必須だ
まとめ
✔ pythonでcsvファイルのdataframe型への変換は、 目をつぶっていてもできるようになろう
コメント