AWS 認定機械学習 – 専門知識模擬問題集

AWS 認定機械学習 – 専門知識模擬問題集
- 1
  - 1
    - 問題要約
    - 解答
  - 2
    - 問題要約
    - 解答
  - 10
    - 問題要約
    - 解答
  - 11
    - 問題要約
    - 解答
  - 24
    - 問題要約
    - 解答
  - 29
    - 問題要約
    - 解答
  - 54
    - 問題要約
    - 解答
- 問題単位でやるほどじゃないもの

1

問題要約

不正取引がポジティブクラスで、できるだけ多くポジティブな取引をキャッチしたい
着目するメトリクス2つ？

解答

【⭕️】真陽性率（TruePositiveRate）
- TP/(TP+FN)
- 実際のポジティブ総数のうち、どれだけ正解できたか
【❌】精度
- TP/(TP+FP)
- ポジティブ判定した中で、正解の割合
【⭕️】Precision -Recall曲線の下の面積
- ROC曲線の下の面積のアレの話ぽい。完全に予測できていると1, 完全にランダムだと0.5

2

問題要約

特徴量2つでバイナリ分類機を開発したい
二次元にプロットしたら、ネガとポジでドーナツみたいに分布してた（中心にポジティブ固まりがあって、ネガティブが取り囲む感じ）
分類機に使うモデルに何を選ぶ？

解答

【⭕️】非線形カーネルを使ったサポートベクターマシン（SVM）モデル
- SVMが分類タスク向けの教師付きアルゴリズム
- 線形データ用が基本だけど、非線形カーネルを使って非線形データの分類にも使える
- この問題だと2次元だけど、より高い次元でも適用できる

10

問題要約

MLで商品分類したい
現在の商品のラベル付きデータセットがある。特徴量15個くらい
新しい商品の分類ができるようなモデルを選べ

解答

【⭕️】XGBoostをmulti:softmaxに設定して使う
- テーブルデータの分類タスクの多クラス分類に最適らしい
【❌】回帰フォレスト

11

問題要約

真相学習をGPU処理でやってる
S3バケットからデータセットをロードして、セルフホストのGitリポジトリから取得したTensorFlowモデルにロードしている
タスクの特徴
- 同じS3に継続的に書き込みつつ何時間も実行
- 中断・再開・継続ができる作り
変更案
- 平日日中までに実行するように自動化
- リソース管理のオーバーヘッドを減らす

解答

【⭕️】DeepLearningContainersで実装し、GPU対応スポットインスタンス上でAWS Batchを使ったジョブとして実行する
【❌】DeepLearningContainersで実装し、Fargateの内蔵タスクスケジューラでタスクの実行をスケジュールする

24

問題要約

100個の特徴量。連続数
顧客の解約予測モデル
予測に重要な特徴量を判断したい。
ロジスティック回帰モデルのパフォーマンスについて、トレーニングセットと検証セットで精度が大きく異なる
パフォーマンスの向上と特徴量の重要度の把握に活かせるテクニック2つ

解答

【⭕️】分類期にL1生息加工を追加する
- 過剰適合してるぽいので正則化が有効
【⭕️】再起的特徴料削減（Recursive Feature Elimination）
- これも過剰適合してそうなので有効
- 重要度が低そうな特徴量を削除してくれる
【❌】t-SNE
- 非線形な時限削減に向いているらしい
- この問題はバイナリ分類なので最適ではない

29

問題要約

100TBの予測値を生成している
予測結果からPrecision-Recall曲線を可視化してBizチームに提供したい
コーディング作業量を抑えられるソリューション

解答

EMRワークフローを日時実行し、Precision-Recallデータを生成してS3に保存
QuickSightで可視化して、ダッシュボードでBizチームと共有

54

問題要約

1台のGPUでトレーニングしていて、トレーニング時間が長い
TensorFlowベースの時系列モデル
コーディング労力とインフラ修正量を抑えたい

解答

TensorFlowコードを変更して、SagemakerでサポとされるHorovod分散フレームワークを実装する。ビジネス目標達成に適したマシン数とかで並列化する
- 分散型深層学習用のオープンソースフレームワーク
- 大抵のDLフレームワークで使える
- Sagemakerでもサポートしている

問題単位でやるほどじゃないもの

SageMakerエンドポイントでA/Bテストしたい
- SageMakerプロダクションバリアント
  - 複数モデルを同じエンドポイントの背後でデプロイできて、トラフィックの分割もできる
  - 各ProductionVariantでMLモデルとかモデルをホストするリソースとかが異なる感じ
  - エンドポイント設定でトラフィックの割合についての重みを指定する
    - デプロイ後に各モデルでの結果を比較して、良い感じのに100％振るとか
FargateはGPU搭載インスタンスをサポートしていない
- なのでMLワークロードの大抵はGPUが必要なのでFargateで実行するのはあんまないっぽい
GroundTruthで限られた人がラベル付けできる状態のラベリングパイプラインを作りたい
- プライベートワークフォース
  - アクセスできるAWSアカウントを制御
  - AWSアカウントで1つまでしかプライベートワークフォースにアクセスできない？
- マニフェストファイル
  - ラベル付けの入力に使うデータの一覧
  - 画像のラベル付けをしたい場合、JSONLで各行に画像名と画像のパスみたいな
kibanaはログの可視化ツールぽい
- CloudWatch logsをES（Elasticsearch）に送信して、kibanaで可視化って感じらしい
NLP（自然言語処理）パイプライン
- テキストの前処理することで、テキストに「構造」を与える
  - 小文字に揃える
  - 単語のトークンか
  - ストップワード除去
  - HTMLタグ除去
  - ステミング・レンマ化
回帰問題の評価
- 残差を確認するのが一般的
  - 真のターゲットと予測されたターゲットの差
  - 正の残差は過小評価していることを示す
  - 残差プロットの見方
    - ランダムに散らばってるのが良い
    - パターンがある場合、モデルがデータのパターンを捉えきれていない可能性がある
    - 残差プロットから非線形関係を検出できる（モデルの適切さを評価できる）
- 混同配列とかROC-AUCは分類問題の評価に使う
決定木分類エンジン
SageMakerの組み込みモデルでトレーニングジョブを実行するには
- 渡すパラメータ
  - SageMAkerがタスクを実行できるIANロール
  - EC2インスタンスクラス（CPUとGPUのどっちで実行するか）
  - 訓練したモデルが保存されるS3バケットのパス（キー
- いらないパス
  - トレーニングデータセットとか検証データセットのS3パス
  - ハイパーパラメータのJSONとか
トレーニングデータが大きすぎで、Sagemakerノートブックインスタンスにフルロードするのは厳しいとき
- S3にデータ保存して、パイプ入力モードでトレーニングする
  - これができるように、データの小さいサブネットで入力データとして妥当か検証もする
  - パイプ入力モードは、いい感じにストリーミング入力してくれるやつ
分類の種類
- バイナリ分類（二値分類）
- 多クラス分類・マルチカテゴリー分類
  - 3つ以上のクラスに分類する？
- 回帰型分類
- ストリーミング分類
Sagemakerがサポートしているトレーニング用のコンテナ
- 訓練コードがtrainという名前のENTRYPOINTで設定されていること
  - モデルトレーニング時はdocker run image trainで実行するため
エポック数が増えるとトレーニングエラーレートが急速に減少し、モデルが見たことのない画像への推論パフォーマンスが落ちた。改善するには？
- 学習データのデータ拡張
- モデルにL2正則化を加える
TFRecord形式
- TensorFlow用のレコードラップ形式
- 大量のトレーニングデータセットをシングルファイルにまとめられる
  - アノテーションとかメタデータも含められる
- 画像とかも
- Sagemakerでもサポートされてるので、S3に配置してアプリケーション側から指定すれば使えるようになる
分布が歪んだデータへの対応2つ
- 対数変換
- ビニング
統計学的な用語
- 正偏差・右偏差
  - ほとんどの分布が左側に集まっていて、右の尾根が長い感じ
- 負偏差・左偏差
  - 正偏差の逆
Sagemakerノートブックインスタンにネイティブでアクセスできないpythonパッケージをインストールしたい
- 【⭕️】Sagemakerのライフサイクル構成を作成する
  - EBSボリュームに自動でインストールされる。インスタンスの停止・再起動でも維持される
- 【❌】.ipynbファイルを/etc/initディレクトリに配置する
  - シェルスクリプトを配置するならまだありうる
  - この方法では特定カーネルへのインストールができない
    - python3
    - pytorch
    - ensorflow_p36
Forecast
- amazon.comと同じ技術を使った時系列予測サービス
- HPOオプション
  - HyperParameterOptimizationのことで、自動で最適化するか
- PerformAutML
  - AutoMLを実行するか
  - トレーニングデータセットに最適なアルゴリズムとかトレーニング設定とかをやってくれる
  - デフォルトは無効
画像認識モデルで、訓練済みモデルに対して追加のデータセットでファインチューニングしたい
- 【⭕️】すべてのそうで学習済みの重みでモデルを初期化し、最後の完全連結層を置き換える
  - 学習済みのネットワークに対して、最上位の完全連結層だけ学習し直すみたいなイメージ
  - 新しいデータセットが少なくても使える方法
- 【❌】最後の完全連結層を含むすべての層にランダムな重みをつけてモデルを初期化する
ニューラルネットワークで出てくる関数
- ソフトマックス関数
  - スコアを確率に変換する
  - 出力層のユニット（分類問題だと予測するクラス）ごとに計算すれば、合計が1になる
- シグモイド関数
- tanh関数
- ReLU
  - 活性化関数の課題として勾配消失問題があって、これはかなり解決している
  - シンプルにmax(0, x)で計算するが、モデルの精度は普通に向上する
  - 改良を試みたLeakyReLUとか
多層パーセプトロンアルゴリズムで多クラス分類しているが、特定クラスだけリコール値が高いので早急に対策したい
- 【⭕️】損失関数にクラスの重みを追加して再学習する
  - 基本的には学習時の各クラスの重みは等しく設定されるので、学習状況に応じて重みを調節する
XGBoostの過学習に対するハイパーパラメータチューニング
- min_child_weight
  - 小さくすると過学習のリスクが高まる。ツリーが深く複雑になるため
- max_depth
  - 木の深さなので、大きくすると過学習のリスクが高まる
  - 一般には10以下くらいにするらしい
ローカルでトレーニングしたSageMakerモデルをホストしたい
- DockerイメージをECRにプッシュする
オンプレのDBからSite-to-Site VPNでGlueのクローラーと接続するケースもある
RNN(Recurrent neural network)
- 時系列みたいなシーケンシャルデータを使いたいときに使う
GlueのFindMAtches ML変換でデータ抽出みたいなユースケースもあるみたい
連続数の特徴量のスケーリング変換手法
- 平均/分散による標準化
- MinMax スケーリング
- Maxabs スケーリング
- ロバストなスケーリング
- 正規化
LSTM(超短期記憶)
- RNNの一種
- 長期依存関係を捉えるのに優れている
- 時系列予測とか自然言語処理でよく使う
- 文章に使うときの前処理
  - 文をベクトルか
  - パディングして長さを揃えた上で、数値シーケンスにする
相関行列の相関係数の見方
- 1に近いほど強い正の相関
- -1に近いほど強い負の相関
- 0に近いほど相関がない
ハイパーパラメータの種類
- モデルハイパーパラメータ
  - モデル自体のパラメータ
    - 決定技の深さ
    - フィルタサイズ
- オプティマイザハイパーパラメータ
  - 学習方法に関するパラメータ
    - 学習率
    - バッチサイズ
- データハイパーパラメータ
  - 不足データの扱いとか？
ハイパーパラメータチューニング手法
- グリッドサーチ
- ランダムサーチ
- ベイズ最適化
- 勾配降下法
- 進化的アルゴリズム
混同行列は行列は多クラス分類でも使う
インスタンスセグメンテーション
- 教師ありアルゴリズム
- 長方形のボックスで画像内の位置とスケールを示すアレ
セマンティックセグメンテーション
- 画像内の各ピクセルにクラスラベルを割り当てる
- ピクセルレベルで分類する
t-SNEでの特徴料削減は、高次元データを2-3次元に可視化するのにも使う
- 主成分分析とかも同じ使い方ができる
- t-SNEが一番モダン？
〇〇分布シリーズ
- ポアソン分布
  - 完全にランダム
  - ある期間の平均x回発生する事象が、ある期間のX回起きる確率の分布
- 正規分布
  - 平均値の周りにデータが集まる
  - ベルカーブ
- 二項分布
  - True/Falseくらいで良い
- 汎化性能を上げたい場面
  - データセットが十分にあるかで変わる
    - ある場合
      - L1／L2正則化項の追加
      - ドロップアウト
    - ない場合
      - トレーニングデータの量を増やす
      - エポック数を増やす？過学習のリスクはあるが
kinesis data analyticsでストリーミングデータのリアルタイム処理
- RANDOM_CUT_FOREST機能でストリームデータの異常を検知する
- FirehoseからAnalyticsで分析して、またFirehoseを通してS3にインジェストみたいなアーキテクチャもあり
Kinesis Data Streamsのシャードは1つ1MB/secもしくは1000レコード/secの書き込みキャパシティがある
- 100トランザクションで100Kbのレコードをストリームするのに必要なシャード数は10シャード
トレーニングジョブのネットワーク分離
- ML用のコンテナのアウトバンドトラフィックがすべてブロックされる
- 外部への情報漏洩を防止できる
欠損値の保管方法
- リストワイズ削除
  - 欠損値があるレコードは一律削除
  - これでテストデータが減るリスクは考慮しないといけない。10%とか減るのは流石に論外
- LOCF(last observation carried forward)
  - 欠損値を直前の有効な値で埋める
- マルチプルインピュテーション
  - 欠損値がないレコードから欠損値があるレコードを推定するモデルを作る
  - k-meansクラスタリングとか回帰モデルとかを適用して予測する
- 平均値／中央値／最頻値代入
  - 連続数なら平均値か中央値、カテゴリカルなら最頻値で埋める
  - 単一値で埋めるというのはデータの歪みを起こしやすいということなので、分散が小さい特徴量で適用したい
各ローカルオフィスと各カメラにプロキシサーバーを使用し、RTSP（Real-time Streaming Protocol）によってカメラの映像をAmazon Kinesis Video Streamsビデオストリームにストリーミングする。各ストリームでは、Amazon Rekognition Videoを使用してストリームプロセッサを作成し、既知の従業員のコレクションから顔を検出し、非従業員が検出されたときに警告を発する
レコメンデーションシステムの種類
- コンテンツベースフィルタリング
  - アイテムの特徴量に基づいてレコメンドする
  - ユーザーの過去の行動に基づいて、似た特徴量を持つアイテムをレコメンドする
- 協調フィルタリング
  - ユーザーの行動に基づいてレコメンドする
  - 類似した行動を取る他のユーザーが好むアイテムをレコメンドする

AWS 認定機械学習 – 専門知識 模擬問題集

1

1

問題要約

解答

2

問題要約

解答

10

問題要約

解答

11

問題要約

解答

24

問題要約

解答

29

問題要約

解答

54

問題要約

解答

問題単位でやるほどじゃないもの

AWS 認定機械学習 – 専門知識模擬問題集