- Bedrockナレッジベースの検索精度が低下してきた。運用オーバーヘッドを抑えて精度を上げるには？
- 【⭕️】BedrockリランカーモデルをOpenSearchと使う
- 取得結果の関連性を高めるのに、自動でスコアをつけて結果を並べ替えてくれる
- 【⭕️】ハイブリッド検索機能を備えたナレッジベースとOpenSearchを使う
- キーワード検索とセマンティック検索を使うので精度を上げる
- AgentCore SDK
- デコレータ
@app.entrypoint
- サーバー設定とエンドポイント設定までやってくれる
- ポート8080にHTTPサーバーを作成したり、
/pingエンドポイントとかも作られる
- スターターツールキット
- パッケージング・コンテナ化・デプロイワークフローを最小のオーバーヘッドで実装できる
- Bedrock guardrails
- GuardrailContentSource
- ガードレールの介入が適切か判断したい時にはGuardrailPolicyTypeでフィルタリングしたInvocationsInvtervenedメトリクスを見る
- 前提でguardrailConfigでトレースを有効にすること
- GlueDataCatalogのデータを元に推論させたときにデータリネージを担保するのに、推論結果にソースをのメタデータをタグ付けする
- 類似度検索がそんなに使われない場合、S3 vectorsをデータソースにする
- OpenSearch serverlessも良さそうだけど、費用対効果で流石に劣る
- S3 vectorsなら完全な従量課金？
- Bedrockモデル呼び出しログはあくまでモデルのAPIコールと推論リクエスト館家のメトリクスとか
- ナレッジベースからのデータ取り込みプロセスのモニタリングはCW logsへのログ記録設定
- SageMakerのエンドポイント種類
- 非同期エンドポイント
- 15分の処理時間を許容
- Lambda関数のタイムアウト時間と同じなのでLAmbda関数でおーけストレートするユースケースあり
- データセットサイズの上限が1GB
- リアルタイム推論エンドポイント
- バッチ変換ジョブ
- オンデマンドリクエストに非対応
- 15分以内の応答という制約に不向き
- FMの評価プロセスの順番
- 評価メトリクス定義
- テストデータセット作成
- A／Bテスト
- StepFunctionsで自動品質ゲート実装
- 結果分析・評価レポート
deprecated
サ終するから試験に出なそう
- Amazon Q Developer
- kiroに移行するので多分問題でない
- 自動テスト生成機能
- CIに組み込む
- AIコンポーネントの迅速な開発・継続的なコード品質・早期の欠陥検出とかを担保する
- 統合コードスニペット？自動生成