カピバラ好きなエンジニアブログ

ITのこととか趣味のカメラのことなどを赴くままに書いていきます。カピバラの可愛さこそ至高。

Embulkで自分で作成したSQLによる増分取り込みを実施してみた

以前の記事で、Embulkを使用してSQL Serverから増分データのみの取得を実施しましたが、その際の設定内容ではテーブル内のカラムすべてを取得するようになっていました。

ただ、どうしても特定のカラムのみ取り込みたい、抽出したいという要望が出てくることもあると思います。
そこで、今回は増分データを取得するのは変わりませんが、抽出するカラムを指定してみます。

前回の記事
capybara-engineer.hatenablog.com


自分で作成したSQLを使うためのパラメータはuse_raw_query_with_incrementalパラメータです。
※説明は以下のURL参照
github.com

続きを読む