第4分野: MLソリューションのモニタリング、保守、セキュリティ (24%)
タスク4.1: モデル推論をモニタリングする
対象知識
- MLモデルのドリフト
- データ品質とモデルのパフォーマンスをモニタリングする手法
- モニタリングに関連するML Lensの設計原則
対象スキル
- 本番環境でモデルをモニタリング（SageMaker Model Monitorの使用など）
- ワークフローをモニタリングしてデータ処理やモデル推論における異常やエラーを検出
- モデルのパフォーマンスに影響を及ぼす可能性のあるデータ分布の変化を検出
- A/Bテストの使用により、本番環境でモデルのパフォーマンスをモニタリング
学習ポイント
- データドリフト: モデルのパフォーマンスに影響を及ぼす可能性のあるデータ分布の変化
- コンセプトドリフト: 学習データと本番データの概念的な変化
模擬試験問題
（前述のバイアスドリフト検証、F1スコア低下の原因などを参照）
タスク4.2: インフラストラクチャとコストをモニタリングおよび最適化する
対象知識
- MLインフラストラクチャの主要パフォーマンスメトリクス（使用率、スループット、可用性、スケーラビリティ、耐障害性など）
- レイテンシーとパフォーマンスの問題をトラブルシューティングするためのモニタリングツールとオブザーバビリティツール（X-Ray、CloudWatch Lambda Insights、CloudWatch Logs Insightsなど）
- CloudTrailを使用した再トレーニングアクティビティのログ記録、モニタリング、呼び出しの方法
- インスタンスタイプ（メモリ最適化、コンピューティング最適化、汎用、推論最適化など）の違いとパフォーマンスへの影響
- コスト分析ツール（Cost Explorer、Billing and Cost Management、Trusted Advisorなど）の機能
- コスト追跡とコスト配分の手法（リソースのタグ付けなど）
対象スキル
- リソースのトラブルシューティングと分析のためにツールを設定して使用
- CloudTrail証跡を作成
- パフォーマンスメトリクスをモニタリングするためにダッシュボードを設定
- インフラストラクチャをモニタリング（EventBridgeイベントの使用など）
- インスタンスファミリーとサイズを適正化
- レイテンシーとスケーリングの問題をモニタリングおよび解決
- コストモニタリングのためにインフラストラクチャを準備
- コストとパフォーマンスに関係する容量の懸念をトラブルシューティング
- 適切なコスト管理ツールを使用してコストを最適化し、コストクォータを設定
- 購入オプションを選択することにより、インフラストラクチャコストを最適化
学習ポイント
- コスト管理: タグ付け戦略を適用してコストモニタリング
- 購入オプション: スポットインスタンス、オンデマンドインスタンス、リザーブドインスタンス、SageMaker Savings Plansなど
タスク4.3: AWSリソースのセキュリティを確保する
対象知識
- AWSサービス（IAM、バケットポリシー、SageMaker Role Managerなど）へのアクセスを制御するIAMロール、ポリシー、グループ
- SageMakerのセキュリティ機能とコンプライアンス機能
- MLリソースへのネットワークアクセスの制御
- CI/CDパイプラインのセキュリティのベストプラクティス
対象スキル
- MLアーティファクトへの最小権限アクセスを設定
- MLシステムとやり取りするユーザーとアプリケーションのIAMポリシーとロールを設定
- MLシステムのモニタリング、監査、ログ記録により、継続的なセキュリティとコンプライアンスを確保
- セキュリティの問題をトラブルシューティングおよびデバッグ
- MLシステムをセキュアに分離するためにVPC、サブネット、セキュリティグループを構築
模擬試験問題
外部APIトークンの管理
問題: 外部APIのトークンを安全に管理しローテーションしたい。
解答: Secrets Managerに保存して使用する
- Lambda関数を定期的に呼び出して更新するように設定できる
トレーニング中のノード間通信の暗号化
問題: トレーニング中のノード間通信を暗号化したい。
解答: ⭕️ トレーニングクラスターでノード間通信の暗号化を有効にする
不正解: ❌ KMSのキーをアタッチする
- そもそも通信中の暗号化にKMSのキーは使わない
- HTTPS通信やgRPCチャネル設定などで対応
重要な補足情報
範囲内の主要AWSサービス
機械学習サービス
- Amazon SageMaker (最重要)
- Data Wrangler, Feature Store, Clarify, Model Monitor
- Pipelines, Model Registry, JumpStart
- Inference Recommender, Neo
- Amazon Bedrock: 基盤モデル
- Amazon Comprehend: 自然言語処理
- Amazon Rekognition: コンピュータビジョン
- Amazon Transcribe: 音声からテキスト
- Amazon Translate: 翻訳
- Amazon Polly: テキストから音声
- Amazon Textract: ドキュメント分析
- Amazon Mechanical Turk: データラベリング
データ分析・処理
- AWS Glue: データカタログ、ETL
- AWS Glue DataBrew: データクリーニング
- AWS Glue Data Quality: データ品質検証
- Amazon EMR: ビッグデータ処理
- Amazon Athena: S3データクエリ
- Amazon Kinesis: ストリーミングデータ
- Amazon Redshift: データウェアハウス
- Amazon QuickSight: ビジュアライゼーション
コンピューティング・コンテナ
- Amazon EC2: 仮想サーバー
- AWS Lambda: サーバーレス
- Amazon ECS: コンテナオーケストレーション
- Amazon EKS: Kubernetesマネージド
- Amazon ECR: コンテナレジストリ
ストレージ
- Amazon S3: オブジェクトストレージ
- Amazon EBS: ブロックストレージ
- Amazon EFS: ファイルストレージ
- Amazon FSx: マネージドファイルシステム
開発者ツール
- AWS CodePipeline: CI/CDパイプライン
- AWS CodeBuild: ビルドサービス
- AWS CodeDeploy: デプロイサービス
- AWS CloudFormation: IaC
- AWS CDK: IaC（プログラマティック）
モニタリング・セキュリティ
- Amazon CloudWatch: モニタリング
- AWS CloudTrail: APIログ記録
- AWS X-Ray: 分散トレーシング
- AWS IAM: アクセス管理
- AWS KMS: 暗号化キー管理
- AWS Secrets Manager: シークレット管理
コスト管理
- AWS Cost Explorer: コスト分析
- AWS Budgets: 予算管理
- AWS Trusted Advisor: コスト最適化推奨
試験の重要ポイント
- データ準備 (28%): 最大の重み
- データ取り込み、変換、特徴量エンジニアリング
- データ品質、バイアス検出、セキュリティ
- モデル開発 (26%): 2番目の重み
- アルゴリズム選択、トレーニング、ハイパーパラメータチューニング
- モデル評価、バージョン管理
- デプロイとオーケストレーション (22%)
- インフラ選択、IaC、コンテナ化
- CI/CDパイプライン、オートスケーリング
- モニタリング、保守、セキュリティ (24%)
- モデルドリフト検出、パフォーマンスモニタリング
- コスト最適化、セキュリティベストプラクティス
試験形式
- 採点対象: 50問
- 採点対象外: 15問（パフォーマンスデータ収集用）
- 合格スコア: 720/1000
- 出題形式: 択一選択、複数選択、並べ替え、内容一致、ケーススタディ