2.2 モデルをトレーニングおよび改良する

タスクステートメント

モデルをトレーニングおよび改良する

対象知識

トレーニングプロセスの要素

エポック（Epoch）

• トレーニングデータ全体を1回通過すること
• 複数エポックで学習を繰り返す
• 過学習を避けるため適切なエポック数を選択

ステップ（Step）/イテレーション

• 1つのバッチでの学習
• 1エポック = データ全体 / バッチサイズ のステップ数

バッチサイズ（Batch Size）

• 一度に処理するサンプル数
• 小さいバッチ: 学習が不安定だが汎化性能が高い
• 大きいバッチ: 学習が安定、メモリ使用量が多い
• 一般的な値: 32, 64, 128, 256

モデルトレーニング時間を短縮する方法

早期停止（Early Stopping）

• 検証損失が改善しなくなったら停止
• オーバーフィッティング防止
• 計算リソースの節約

early_stopping = {
    "Type": "Auto",
    "MaxRuntimeInSeconds": 86400
}

分散トレーニング（Distributed Training）

• データ並列化（Data Parallelism）
  • データを複数のGPUに分散
  • SageMaker Data Parallelism Library
• モデル並列化（Model Parallelism）
  • モデルを複数のGPUに分散
  • 大規模モデルに適用
  • SageMaker Model Parallelism Library

モデルサイズに影響する要因

• パラメータ数（重み、バイアス）
• レイヤー数
• ノード数
• 埋め込み次元

モデルのパフォーマンスを向上させる方法

• 転移学習（Transfer Learning）
  • 事前トレーニング済みモデルを活用
• アンサンブル学習
  • 複数モデルの組み合わせ
• ハイパーパラメータチューニング
• データ拡張（Data Augmentation）
• 正則化

正則化手法の利点

ドロップアウト（Dropout）

• ランダムにニューロンを無効化
• 過学習を防止
• ニューラルネットワークに適用

重み減衰（Weight Decay）

• L2正則化の一種
• 重みを小さく保つ

L1/L2 正則化

• L1正則化: スパース性を促進、特徴選択
• L2正則化: 重みを小さく、滑らかなモデル

ハイパーパラメータのチューニング手法

ランダム検索（Random Search）

• ランダムにハイパーパラメータを選択
• グリッドサーチより効率的

ベイズ最適化（Bayesian Optimization）

• 過去の結果を基に次の候補を選択
• 効率的な探索
• SageMaker Automatic Model Tuning (AMT) で使用

グリッドサーチ（Grid Search）

• すべての組み合わせを試す
• 計算コストが高い

モデルのハイパーパラメータとそれらがモデルパフォーマンスに及ぼす影響

ツリーベースのモデル

• ツリー数（n_estimators）: 多いほど性能向上、計算コスト増
• 最大深さ（max_depth）: 深いほど複雑なパターン学習、過学習リスク
• 学習率（learning_rate）: 小さいほど安定、遅い
• 最小サンプル分割（min_samples_split）: 過学習防止

ニューラルネットワーク

• レイヤー数: 深いほど複雑なパターン学習
• ノード数: 多いほど表現力向上
• 学習率（learning_rate）: 最適化の速度
• バッチサイズ: 学習の安定性とメモリ使用量

SageMaker の外部で構築されたモデルを SageMaker に取り入れる方法

• BYOM（Bring Your Own Model）
• Docker コンテナを使用
• model.tar.gz 形式で保存
• SageMaker エンドポイントにデプロイ

対象スキル

1. SageMaker の組み込みアルゴリズムと一般的な ML ライブラリを使用して ML モデルを開発する

XGBoost の例

import sagemaker
from sagemaker import image_uris

container = image_uris.retrieve('xgboost', region, '1.7-1')

xgb = sagemaker.estimator.Estimator(
    container,
    role=role,
    instance_count=1,
    instance_type='ml.m5.xlarge',
    output_path=output_path
)

2. SageMaker スクリプトモードを使用してモデルをトレーニングする

TensorFlow の例

from sagemaker.tensorflow import TensorFlow

tf_estimator = TensorFlow(
    entry_point='train.py',
    role=role,
    instance_count=1,
    instance_type='ml.p3.2xlarge',
    framework_version='2.12',
    py_version='py310',
    hyperparameters={
        'epochs': 10,
        'batch_size': 32
    }
)

tf_estimator.fit({'training': s3_train_data})

PyTorch の例

from sagemaker.pytorch import PyTorch

pytorch_estimator = PyTorch(
    entry_point='train.py',
    role=role,
    instance_count=1,
    instance_type='ml.p3.2xlarge',
    framework_version='2.0',
    py_version='py310'
)

3. カスタムデータセットを使用して事前トレーニングされたモデルをファインチューニングする

from sagemaker.jumpstart.estimator import JumpStartEstimator

# 事前トレーニング済みモデルでファインチューニング
model_id = 'huggingface-text-classification-bert-base-uncased'

estimator = JumpStartEstimator(
    model_id=model_id,
    environment={'accept_eula': 'true'}
)

# カスタムデータでファインチューニング
estimator.fit({'training': s3_train_data})

4. ハイパーパラメータチューニングを実行する（SageMaker AMT）

from sagemaker.tuner import HyperparameterTuner, IntegerParameter, ContinuousParameter

hyperparameter_ranges = {
    'max_depth': IntegerParameter(3, 10),
    'eta': ContinuousParameter(0.01, 0.5),
    'min_child_weight': IntegerParameter(1, 10),
    'subsample': ContinuousParameter(0.5, 1.0),
    'num_round': IntegerParameter(50, 200)
}

tuner = HyperparameterTuner(
    estimator=xgb_estimator,
    objective_metric_name='validation:auc',
    hyperparameter_ranges=hyperparameter_ranges,
    max_jobs=20,
    max_parallel_jobs=3,
    strategy='Bayesian'
)

tuner.fit({'train': s3_train_data, 'validation': s3_val_data})

5. 自動ハイパーパラメータ最適化機能を導入する

# SageMaker Autopilot を使用
from sagemaker.automl.automl import AutoML

automl = AutoML(
    role=role,
    target_attribute_name='target',
    max_candidates=100,
    mode='ENSEMBLING'
)

automl.fit(s3_input_data, job_name='automl-job')

6. モデルのオーバーフィット、アンダーフィット、壊滅的忘却を防止する

オーバーフィット対策

• 正則化（L1, L2, Dropout）
• 早期停止
• データ拡張
• クロスバリデーション

アンダーフィット対策

• モデルの複雑化
• 特徴量の追加
• エポック数の増加

壊滅的忘却対策（継続学習）

• Elastic Weight Consolidation (EWC)
• Progressive Neural Networks
• リハーサルバッファ

7. 複数のトレーニングモデルを組み合わせてパフォーマンスを向上させる

アンサンブル手法

from sklearn.ensemble import VotingClassifier

# 複数モデルの投票
ensemble = VotingClassifier(
    estimators=[
        ('xgb', xgb_model),
        ('rf', rf_model),
        ('lr', lr_model)
    ],
    voting='soft'
)

スタッキング

from sklearn.ensemble import StackingClassifier

stacking = StackingClassifier(
    estimators=[
        ('xgb', xgb_model),
        ('rf', rf_model)
    ],
    final_estimator=LogisticRegression()
)

8. モデルサイズを縮小する

データ型の変更

# Float32 → Float16 (半精度)
model.half()

プルーニング（枝刈り）

import torch.nn.utils.prune as prune

# 重みの50%をプルーニング
prune.l1_unstructured(module, name='weight', amount=0.5)

圧縮

• 量子化（Quantization）
• 知識蒸留（Knowledge Distillation）

9. モデルバージョンを管理する（SageMaker Model Registry）

from sagemaker.model import Model
from sagemaker.model_metrics import ModelMetrics, MetricsSource

# モデルメトリクスの定義
model_metrics = ModelMetrics(
    model_statistics=MetricsSource(
        s3_uri=f's3://{bucket}/metrics.json',
        content_type='application/json'
    )
)

# モデルパッケージグループの作成
model_package_group_name = 'customer-churn-models'

# モデルの登録
model_package = model.register(
    content_types=['text/csv'],
    response_types=['text/csv'],
    inference_instances=['ml.m5.large'],
    transform_instances=['ml.m5.large'],
    model_package_group_name=model_package_group_name,
    approval_status='PendingManualApproval',
    model_metrics=model_metrics
)

分散トレーニングの種類

データ並列化

from sagemaker.tensorflow import TensorFlow

tf_estimator = TensorFlow(
    entry_point='train.py',
    role=role,
    instance_count=4,  # 複数インスタンス
    instance_type='ml.p3.8xlarge',
    framework_version='2.12',
    distribution={
        'smdistributed': {
            'dataparallel': {
                'enabled': True
            }
        }
    }
)

モデル並列化

distribution={
    'smdistributed': {
        'modelparallel': {
            'enabled': True,
            'parameters': {
                'partitions': 2,
                'microbatches': 4
            }
        }
    }
}

重要なポイント

ハイパーパラメータチューニングのベストプラクティス

1. 最も影響力のあるパラメータを優先
2. 適切な範囲を設定
3. 並列ジョブ数を調整（予算とのバランス）
4. ベイズ最適化を活用
5. 早期停止を使用

正則化の選択

• L1: 特徴選択が必要な場合
• L2: 一般的な過学習防止
• Dropout: ニューラルネットワーク
• Early Stopping: 全てのモデルに適用可能

関連リンク

• [[2.1_モデリングアプローチの選択]]
• [[2.3_モデルパフォーマンスの分析]]
• [[3.1_デプロイインフラストラクチャの選択]]
• [[99_AWSサービス一覧]]
• [[00_試験概要]]