データベースの構築

過去にJADERやFAERSのデータベース構築方法を色々記載しましたが、現在はRのarrow一択です。データ処理がかなり高速になるため、本当にお勧めです。

保存先をHD→SSDにすることでさらに高速にできます。


Arrow R Package

Apache Arrow <https://arrow.apache.org/> is a cross-language development platform for in-memory data. It specifies a standardized language-independent columnar memory format for flat and hierarchical data, organized for efficient analytic operations on modern hardware. This package provides an interface to the Arrow C++ library.

arrow.apache.org

一旦もとのcsvファイルをParquetファイルに変換しなおす必要がありますが、一度変換してしまえば、このファイルから高速で必要なデータだけをかなり短時間で抽出することができます。


これでJMPやSQLは基本使うことは、今のところなさそうです。

Science writing

0コメント

  • 1000 / 1000