2020-01-01から1年間の記事一覧

Fargate + Firelensでのログ出力について考える

Fargate + ECSで動かしているバッチが終了した時に、実行結果のサマリーを通知(SNSファンアウト)したいと思ったのですが、色々と方法がありそうなので、つらつらとメモ。 前提としては、こんな感じです。 バッチ本体はJavaで実装。ログはLogback + SLF4Jの…

S3 SelectのJSON行(JSON Lines)を色々試す

S3 Selectでは、CSV, JSON(行 or ドキュメント), Parquetといったファイル形式がサポートされていますが、このうち、扱いやすさと柔軟性の高そうなJSON行について、調べてみました。 サンプルファイル 今回用意したファイルはこちら。 { "id": "1", "name"…

TypeScriptで配列をn個ずつに分割する

配列をn個ずつの二次元配列にするワンライナーです(Rubyの each_slice 的なやつ) 使い古されたネタなので、いろんな書き方が可能だと思いますが…。 const arraySplit = <T = object>(array: T[], n: number): T[][] => array.reduce((acc: T[][], c, i: number) => (i </t>…