Posted inプログラミング
Pandasを待つのはもうやめよう：大規模データセットのためのPolars実用ガイド
Pandasでシステムがクラッシュしていませんか？PolarsがRust、マルチスレッド、遅延評価（Lazy evaluation）を駆使して、わずかなメモリで大規模データを最大10倍高速に処理する方法を紹介します。
Posted inデータベース
スケーラブルなELT：2,500行のSQLをdbtとPostgresにリプレースした方法
壊れやすいストアドプロシージャを捨てましょう。2,500行に及ぶSQLの悪夢を、dbtとPostgreSQLを使って、モジュール化され、テスト済みの高性能なELTパイプラインに変えた方法を紹介します。
Posted inデータベース
CSVの先へ：Parquet、Arrow、DuckDBによるハイパフォーマンスなデータエンジニアリング
大規模データにおいてなぜCSVが限界を迎えるのか、そしてApache ParquetとArrowがどのようにデータ処理に革命を起こすのかを解説します。PythonとDuckDBを組み合わせて、ハイパフォーマンスな分析パイプラインを構築する方法を詳しく紹介します。
Posted inデータベース
小さなファイルの悪夢を終わらせる：Apache Icebergによるデータレイクハウスの近代化
破損したS3フォルダや「小さなファイル」による遅延に疲れていませんか？Apache IcebergがデータレイクハウスにACIDの信頼性、即時のスキーマ変更、タイムトラベル機能をもたらす方法を紹介します。
Posted inデータベース
PostgreSQLのバルクインポート：数百万行のデータを待ち時間なしで移行する方法
データベースのマイグレーションが遅くてお困りですか？COPYコマンド、マルチ行インサート、WALチューニングを活用して、数百万件のレコードをPostgreSQLに数分でインポートする方法を学びましょう。
Posted inDevOps
Argo Workflowsをマスターする：Kubernetes上でのバッチジョブとデータパイプラインのスケーリング
Kubernetes向けArgo Workflowsをマスターしましょう。具体的なコード例と最適化のヒントを交えながら、レジリエントなDAGの構築、アーティファクト管理、本番対応のバッチジョブの実装方法を解説します。
Posted inAI
クリーンなデータでより良いRAGを：Pythonパイプライン向けMicrosoft MarkItDown活用ガイド
データインジェストを標準化して、RAGシステムの精度を向上させましょう。Microsoft MarkItDownとPythonを活用し、複雑なPDF、Excel、WordファイルをLLMが扱いやすいクリーンなMarkdownに変換する手法を紹介します。
Posted inデータベース
DuckDB完全ガイド：Pandasを置き換える「分析向けSQLite」の実力
Pandasのせいでマシンがクラッシュしていませんか？高性能な分析データベースDuckDBを使えば、最小限のメモリ使用量で大規模ローカルデータセットへの高速SQLクエリが実現できます。
Posted inデータベース
基本的なクエリを超えて：実務のデータ分析でSQLウィンドウ関数を使いこなす
基本的な結合（JOIN）からステップアップしましょう。RANK、LAG、移動平均などのウィンドウ関数が、データ分析をどのように変え、レポートの実行速度を10倍にするか解説します。
Posted inデータベース
データベースへのポーリングはやめよう：DebeziumとKafkaによるCDC実践ガイド
低速でリソースを消費するポーリングから脱却しましょう。このガイドでは、DebeziumとKafkaを使用して、データベースの変更を発生した瞬間にキャプチャする方法を解説します。