Pythonデータ解析

Pythonでログデータからヒストグラムを作る

こんな方におすすめ

  • ログファイルから必要情報を抜き出したい
  • テキストファイルの情報を解析しやすいように処理したい
  • ログファイルからヒストグラムを作りたい

エンジニアの開発や生産現場では、なんらかのログファイルを作成してデータ解析をすることが多々あると思います。今回は、ログファイルから必要情報を抜き出し、ヒストグラムにする方法について説明します。

ログの形式がどのような形であれ、データ解析しやすいように変換しヒストグラムが作れるようになると思います。

データ解析の前処理の方法として参考になればと思います。

今回のゴールと手順

データ解析をするためには、ログファイルなどからデータ解析したい情報を抜き出し、データフレーム に正しく格納することが重要です。そのようにすることで、データ解析の様々な関数が使用できるようになり、簡単に解析できるようになります。

今回は、初めにログファイルから、必要な情報を抜き出しcsvファイルを作成します。作成したcsvファイルを読み出し、データフレーム に格納しヒストグラムを作成していきます。

ログデータ(log_blog)

csvファイル

ログデータから必要な情報のみを抜き出し、以下のようなcsvファイルを作成します。

VOH_ALL_800

ヒストグラム

csvファイルを読み出しヒストグラムを作成します。ヒストグラムにタイトルやラベル要約統計量、リミット値を記載します。

 

 

 

 

 

 

 

 

プログラムの内容

必要なモジュールをインポートします。

必要な情報を抜き出しVHO_ALL_800.csvを作成します。

作成したファイルをpandasのread_csv関数で読み出し、ヒストグラムを作成します。

まとめ

今回は、ログファイルから必要な情報をCSVファイルに落とし、データフレーム として取り込みヒストグラムを作成しました。

開発現場では、同様のファイルを何個も解析することがあります。今回紹介した以下のループを活用することで可能です。

for file in glob(dir_name+'log_blog*.txt'):

ぜひお試しください。

スポンサーリンク

-Pythonデータ解析

Copyright© MAYRのPython活用法! , 2021 All Rights Reserved Powered by AFFINGER5.