Posted inデータベース
CSVの先へ：Parquet、Arrow、DuckDBによるハイパフォーマンスなデータエンジニアリング
大規模データにおいてなぜCSVが限界を迎えるのか、そしてApache ParquetとArrowがどのようにデータ処理に革命を起こすのかを解説します。PythonとDuckDBを組み合わせて、ハイパフォーマンスな分析パイプラインを構築する方法を詳しく紹介します。
Posted inデータベース
DuckDB完全ガイド：Pandasを置き換える「分析向けSQLite」の実力
Pandasのせいでマシンがクラッシュしていませんか？高性能な分析データベースDuckDBを使えば、最小限のメモリ使用量で大規模ローカルデータセットへの高速SQLクエリが実現できます。