2018年9月17日から18日にかけて、日本最大のPythonの祭典、PyCon JP 2018が開催されました。「ひろがるPython」をキャッチコピーに、日本だけでなく世界各地からPythonエンジニアたちが一堂に会し、様々な知見を共有します。プレゼンテーション「オンザフライ高速化パッケージの比較」に登壇 ...

その中で印象に残ったブースをご紹介します。 Dask Dask は大規模なデータセットを処理するためのPythonライブラリです。 DaskはNumPy、Pandas、Scikit-learnなどのライブラリと互換性があり、大規模なデータセットを処理する際に有用です。

Pythonのcsvファイル読み込みが1分30秒かかっていたものが1秒未満でできます。 DASK pickle (Pythonコードあり) ...

pandasでの実行結果 Daskでの実行結果 同じ処理ですが、Pandasでは17.2秒、Daskは5.41秒でした。 Daskの方が3倍以上速く計算することができました。 今回のような巨大なデータであればあるほど、差が開いてくるのかもしれません。

ログミーBusinessトップ メインカテゴリ テクノロジー Numba・TensorFlow・Dask…ライブラリごとに比較するPython高速化 PyCon JP 2018 2018.09.17 - 2018.09.18 オンザフライ高速化パッケージの比較（全2記事） 1記事目 2記事目 2018.10.05 メインカテゴリ テクノロジー ...

Pythonの動作を高速化させるための技術を紹介しました。pythonでは大量のデータを裁きたいひとは参考にしてみてください。