• Kinesis Data Streams が直接接続できるデータストア

  • dynamoDB

• Readshift にステージングテーブルを用意するユースケース
  • Glue ジョブで書き込むデータに重複が含まれて、重複排除したい状況
• ファクトテーブル: 分析対象、ディメンションテーブル: 分析軸(時間とか属性値とか)
  • Readshift にロードするときは一括 COPY コマンドが推奨
• Glue Data Quality のルールセットが数百とかあるときに効率的に管理したい
  • lambda 関数で UpdateDataQualityRulessetAPI を呼び出す
• S3 の JSON を直接 Readshift にロードする
  • COPY コマンドと、FORTMAT AS JSON オプション
• 大抵の DB から Readshift への移行
  • DMS で移行して、DMS の CDC 機能で差分を追従
  • ただし、Aurora からの移行でリアルタイム性もほしい場合は Readshift ゼロ ETL 機能
• Neptune で使えるクエリ言語: SPARQL, Gremlin
  • SPARQL: RDF データに対するクエリ言語
  • Gremlin: グラフデータに対するクエリ言語。SNS とかのネットワーク的なもの
• EKS のリアルタイムログ分析
  • Fluent Bit サービス（ポッド？）追加
  • Opensearch ドメインを追加して、Fluent Bit がアクセスできるようにする
• Readshift の分散キーがわからんときは AUTO 分散を選んでよしなにやってもらう
• ETL スクリプト例

# Glue Data Catalogからデータを取得する
dynamic_frame = glueContext.create_dynamic_frame.from_catalog(
    database="my_database",
    table_name="my_table"
)

# DynamicFrameをS3にParquet形式で書き出す
glueContext.write_dynamic_frame.from_options(
    frame=dynamic_frame,
    connection_type="s3",
    connection_options={"path": "s3://my_bucket/output/"},
    format="parquet"
)

# Glue Data Catalogから直接データ取得する
glueContext.write_dynamic_frame.from_catalog(
    database="my_database",
    table_name="my_table",
    connection_options={"path": "s3://my_bucket/output/"},
    format="parquet"
)

• S3 インベントリ設定レポートでバケット内の未完了マルチパートアップロード、古いバージョンファイルとかの情報を取得できる。
• S3 Storage Lens はストレージ使用状況とかパフォーマンス周りのメトリクス
• QuickSight で KMS キーで暗号化されてる S3 バケットにアクセスしたいとき
  • IAM ポリシーで KMS キーの使用を許可する
  • QuickSight コンソールからサービスロールがアクセスできるリソースから KMS キーを追加
• OPTIMIZE sales_data REWRITE DATA USING BIN_PACK;
  • S3 に Parquet フォーマットで保存されてるバケットに対するクエリを最適化する

-- athenaからParquet形式でS3にデータをエクスポート
UNLOAD 's3://my-bucket/output/'
SELECT * FROM customer_data
WHERE age > 30
WITH (format = 'PARQUET');

• インポートする JSON 内のカラムを連結して重複排除したいときは DataBrew でレシピを作って
• Readshift に KinesisDataStreams から直接ロードできる
  • Readshift ストリーミングインジェスト機能
• S3 Object Lambda エンドポイント
  • S3 のオブジェクトに対して GET, PUT 等でのデータ取得時に変換処理を挟んでからレスポンスする
  • PUT 時に PII をマスキングするとか
• Managed Workflows for Apache Airflow と StepFunction の使い分け
  • MWAA だとアイドル時間にも課金されるので、サーバーレスにオーケストレーションできてるなら StepFunctions
  • 既存の Airflow ワークフローを修正を抑えて使用したい
• ReadShift クラスターに暗号化を適用したい
  • 暗号化設定をしたインスタンスを新しく作る必要がある
  • HSM でも KMS でもそう
• RDS にマスターデータがある状況で ReadShift で分析するユースケース
  • RDS からは RedShift の Federated Qyery
  • コスト効率を考えて、分析であまり使わない古めのデータ等は S3 に UNLOAD して Redshift Spetrum で分析
• KinesisStreams ではパーティションキーをもとに各シャードに分散する
  • 特定シャードの使用率が高いとかで、パーティションキーを見直すことがある
• CloudWatch Logs からほぼリアルタイムで Splunk に送信して分析
  • Amazon Data Firehose 配信ストリームを設定し、Lambda バックエンドで必要な変換をして Splunk を宛先として使用します。CloudWatch Logs のサブスクリプションフィルタを作成して、ログイベントを配信ストリームに送信します。
  • 【❌】Amazon Managed Service for Apache Flink で必要なクエリ処理をして Splunk を宛先として使用
• KinesisDataStreams で直接データソースに書き込めるユースケース
  • Readshift のストリーミングインジェスト機能
• Athena は S3 の大抵のストレージクラスで使えそう
• Readshift のストアドの楽な実装方法
  • query editor v2
    • スケジュールもできる
• QuickSight の SPICE（Super-fast, Parallel, In-memory Calculation Engine）
  • データ取得や表示が高速化され、リアルタイムに近い形式でのデータの可視化
  • キャッシュも効く
  • 大きなデータセットでもコスト効率が良い
• 異なるリージョン（us-east-1 と us-west-1）および異なるアカウント間でのデータレプリケーションを行う場合、以下のような手順が必要である：

DMS のレプリケーションインスタンスは、ターゲットリージョン（データが転送される側）に作成するのが一般的なベストプラクティスである。このケースでは、ターゲットリージョンは us-west-1 であるため、us-west-1 リージョンでレプリケーションインスタンスを作成する。
異なるアカウント間でのデータレプリケーションを行うには、必要な権限をクロスアカウントで設定する必要がある。ソースアカウント（us-east-1）において、DMS レプリケーションインスタンスが RDS にアクセスできるよう、IAM ロールで適切なポリシーを設定する。ターゲットアカウント（us-west-1）にも同様のアクセス権限を付与する。
また、us-east-1 の RDS インスタンスと us-west-1 の DMS レプリケーションインスタンスが通信できるように、必要なネットワーク設定を行う必要がある。

• Readshift に S3 のファイルをロードするときにはマニフェストファイルを使う
  • JSON 形式
  • COPY コマンドでロードするとき使う
• Lambda ブループリント
  • 特定用途用にテンプレート化されたコード
  • EC2 -> Kinesis DataStreams -> Firehose->CloudWatch Logsの Firehose でのデータ変換過程とか