Amazon SageMaker の機能 - Amazon SageMaker

Amazon SageMaker の機能

Amazon SageMaker には次の機能があります。

re:Invent 2023 で発表された新機能

SageMaker には、re:Invent 2023 で発表された次の新機能が含まれています。

データ準備用の SageMaker Canvas チャット

データ準備用の SageMaker Canvas チャットは、LLM を使用してデータ準備フローを作成するのに役立ちます。

コードエディタ

コードエディタは Studio を拡張し、Visual Studio Code – Open Source (「Code-OSS」) に基づく環境で、分析および機械学習コードを記述、テスト、デバッグ、実行できるようにします。

大規模モデル推論用の深層学習コンテナ

SageMaker は、デフォルトの NCCL カーネルを推論に最適化されたカーネルに置き換え、GPU 使用率を向上させ、OSS に対してパフォーマンスが差別化されています。

リアルタイム推論用のモデルのデプロイ

SageMaker Inference は、開発者エクスペリエンスとユーザーインターフェイスの抽象化を提供し、モデルデプロイをより迅速に開始できるようにします。

SageMaker のユーザーは、モデル単位のベースでスループットと自動スケーリングが保証された SageMaker エンドポイントに最大数千のモデルをデプロイすることで、高速コンピューティングインスタンスの使用率を向上させることができます。

SageMaker Distribution イメージ

SageMaker Distribution は、機械学習、データサイエンス、データ分析用に設計された Docker イメージのコレクションです。イメージは、Studio、Studio Lab、Studio ノートブック、Github で利用できます。

ドメインオンボーディングの簡素化

単一ユーザーや組織管理者向けの新機能により、Amazon SageMaker ドメインのオンボーディングを簡略化し、ガイドします。機能には、IAM Identity Center の直接統合、きめ細かなアクセスポリシー管理、シームレスな SageMaker アプリケーションの管理と設定、VPC とストレージの設定が含まれます。

Amazon S3 Express One Zone

Amazon S3 Express One Zone は、最もレイテンシーの影響を受けやすいアプリケーションに 1 桁のミリ秒アクセスを提供する新しいストレージクラスです。Amazon S3 Express One Zone を使用すると、お客様はオブジェクトストレージとコンピューティングリソースを 1 つの AWS アベイラビリティーゾーンに集約できるため、データ処理速度が向上し、コンピューティングパフォーマンスとコストの両方を最適化できます。

基盤モデル評価 (FMEval)

基盤モデル評価 (FMEval) を使用して、不正確、有害、またはバイアスのあるコンテンツを言語モデルで提供するリスクを定量化し、ユースケースに最適なコンテンツを選択できます。独自のカスタムデータセットを作成するか、組み込みデータセットを使用して、言語モデルを評価します。FMEval は、JumpStart の何十ものテキストベースの基盤モデル、または独自のモデルと統合されます。FMEval ライブラリを使用して、カスタマイズされた評価を作成することもできます。

SageMaker HyperPod

SageMaker HyperPod は、SageMaker の一機能であり、回復力のあるクラスターで常時稼働する機械学習環境を提供します。この環境では、大規模言語モデル (LLM) や拡散モデルなどの大規模機械学習モデルを開発するための機械学習ワークロードを実行できます。

JupyterAI

Jupyter AI と Code Whisperer が SageMaker Distribution に含まれるようになりました。この更新により、Studio またはコードエディタのユーザーはノートブックから生成 AI を簡単に使用でき、Code Whisperer のコード完了機能を利用できます。

Studio の JupyterLab

Studio の JupyterLab は、Studio ノートブックのレイテンシーと信頼性を改善します

SageMaker ノートブックジョブ

SageMaker ノートブックジョブは、ノートブックジョブの SDK サポートを提供するため、ノートブックジョブをプログラムでスケジュールできます。

SageMaker Pipelines

SageMaker Pipelines には、ローカル機械学習コードを SageMaker Pipeline ステップに変換するオプションがあり、そこからパイプラインを作成して実行できます。

SageMaker スマートふるい

SageMaker スマートふるいは、SageMaker Training の機能であり、トレーニングデータセットの効率を向上させ、トレーニングの合計時間とコストを削減します。

SageMaker Studio

Studio は、機械学習ワークフローを実行するための最新のウェブベースエクスペリエンスです。Studio は、コードエディタ、新しい Jupyterlab アプリケーション、RStudio、Studio Classic など、一連の IDE を提供しています。

機械学習環境

SageMaker には、次の機械学習環境が含まれています。

SageMaker 地理空間機能

地理空間データを使用して ML モデルを構築、トレーニング、デプロイします。

SageMaker Canvas

コーディング経験のないユーザーに、モデルを構築しそれを使って予測を行う機能を提供する自動 ML サービス。

SageMaker Studio

統合された機械学習環境。この環境では、モデルの構築、トレーニング、デプロイ、分析をすべて同じアプリケーションで行うことができます。

SageMaker Studio Lab

オープンソースの JupyterLab をベースにした環境内の AWS コンピューティングリソースにアクセスできるようにする無料のサービス。

RStudio on Amazon SageMaker

コンソール、直接コード実行をサポートする構文強調表示エディタ、プロット、履歴、デバッグ、ワークスペース管理のためのツールを備えた R 向けの統合開発環境です。

主な機能

SageMaker には、SageMaker プレフィックスを除き、アルファベット順に次の主要機能が含まれています。

Amazon Augmented AI

ML 予測の人間によるレビューに必要なワークフローを構築します。Amazon A2I は、人間によるレビューのシステム構築や人間によるレビューの多数の担当者の管理に伴う画一的で面倒な作業を取り除き、すべてのデベロッパーが人間によるレビューが行えるようにします。

AutoML ステップ

AutoML ジョブを作成して、Pipelines でモデルを自動的にトレーニングします。

SageMaker Autopilot

機械学習の知識を持たないユーザーでも、分類モデルと回帰モデルをすばやく構築できます。

バッチ変換

データセットを事前処理し、永続的なエンドポイントが不要なときに推論を実行し、入力レコードを推論に関連付けて結果の解釈を支援します。

SageMaker Clarify

潜在的なバイアスの検出によって機械学習モデルを改善し、モデルが作成する予測を説明するのに役立ちます。

共有スペースでコラボレーション

共有スペースは、共有 JupyterServer アプリケーションと共有ディレクトリで構成されます。Amazon SageMaker ドメイン内のすべてのユーザープロファイルは、ドメイン内のすべての共有スペースにアクセスできます。

SageMaker Data Wrangler

SageMaker Studio でデータをインポート、分析、準備、特徴化します。Data Wrangler を機械学習ワークフローに統合して、コーディングをほとんどまたはまったく使わずにデータの前処理と特徴エンジニアリングを簡素化および合理化できます。独自の Python スクリプトと変換を追加してデータの事前ワークフローをカスタマイズすることもできます。

Data Wrangler データ準備ウィジェット

データを操作し、視覚化し、実用的なインサイトを探索して、データ品質の問題を修正します。

SageMaker Debugger

トレーニングプロセス全体を通して、トレーニングパラメータとデータを検査します。パラメータ値が大きすぎたり小さすぎたりするなど、一般的に発生するエラーを自動的に検出し、ユーザーに警告します。

SageMaker Edge Manager

エッジデバイスのカスタムモデルを最適化し、フリートの作成および管理を行い、効率的なランタイムでモデルを実行します。

SageMaker Experiments

実験の管理と追跡。追跡されたデータを使用して実験を再構築し、ピアによって実施された実験を段階的に構築できるほか、コンプライアンスと監査の検証のためにモデル系統をトレースできます。

SageMaker Feature Store

特徴の検出と再利用を容易にする、特徴と関連メタデータの一元管理ストア。2 種類のストア (オンラインストアまたはオフラインストア) を作成できます。オンラインストアは低レイテンシーのリアルタイム推論のユースケースに、オフラインストアはトレーニングやバッチ推論に使用されます。

SageMaker Ground Truth

ワーカーと機械学習を使用して、ラベル付きデータセットを作成する高品質のトレーニングデータセット。

SageMaker Ground Truth Plus

ターンキーデータラベリング機能により、ラベリングアプリケーションを構築したり、ラベリングワークフォースを自分で管理したりすることなく、高品質のトレーニングデータセットを作成できます。

SageMaker 推論レコメンダー

ML モデルとワークロードを使用するための推論インスタンスタイプと構成 (インスタンス数、コンテナパラメータ、モデルの最適化など) に関する推奨事項を取得します。

推論、シャドーテスト

現在デプロイされているインフラストラクチャのパフォーマンスと比較して、モデルを提供するインフラストラクチャへの変更を評価します。

SageMaker JumpStart

デプロイ可能なキュレート 1 クリックソリューション、サンプルノートブック、事前トレーニング済みモデルを通じて、SageMaker の機能について学習できます。モデルを微調整してデプロイすることもできます。

SageMaker ML 系統追跡

機械学習ワークフローの系統を追跡します。

SageMaker モデル構築パイプライン

SageMaker ジョブと直接統合された機械学習パイプラインを作成して管理します。

SageMaker Model Cards

ML モデルに関する情報を 1 か所に文書化して、ML ライフサイクル全体にわたってガバナンスとレポートを合理化します。

SageMaker Model Dashboard

アカウント内すべてのモデルの視覚的な概要が事前に構築されています。Model Dashboard は、SageMaker Model Monitor、変換ジョブ、エンドポイント、系統追跡、CloudWatch からの情報を統合するため、高レベルのモデル情報にアクセスし、1 つの統一ビューでモデルのパフォーマンスを追跡できます。

SageMaker モデルモニタ

本番環境のモデル (エンドポイント) を監視および分析して、データドリフトとモデル品質の偏差を検出します。

SageMaker モデルレジストリ

機械学習モデルのデプロイに対するバージョニング、アーティファクトと系統の追跡、承認ワークフロー、クロスアカウントのサポート。

SageMaker Neo

機械学習モデルを一度トレーニングすれば、クラウド内およびエッジ内の任意の場所で実行できます。

ノートブックベースのワークフロー

SageMaker Studio ノートブックを非インタラクティブなスケジュールされたジョブとして実行します。

前処理

データの分析と前処理、特徴エンジニアリングへの取り組み、モデルの評価を行います。

SageMaker プロジェクト

SageMaker プロジェクトを使用し、CI/CD でエンドツーエンドの ML ソリューションを作成します。

強化学習

エージェントがその行動の結果として受け取る長期的な報酬を最大化します。

SageMaker Role Manager

管理者は、カスタムおよび事前設定されたペルソナベースの IAM ロールを使用して、一般的な ML アクティビティに対する最小特権のアクセス許可を定義できます。

SageMaker サーバーレスエンドポイント

ML モデルをホストするためのサーバーレスエンドポイントオプション。エンドポイントトラフィックを処理するために容量を自動的にスケールします。エンドポイントでインスタンスタイプを選択したり、スケーリングポリシーを管理したりする必要がなくなります。

Studio Classic Git 拡張機能

Git リポジトリ の URL を入力し、環境にクローンを作成し、変更をプッシュし、コミット履歴を表示するための Git 拡張機能。

SageMaker Studio ノートブック

AWS IAM Identity Center (IAM アイデンティティセンター) 統合、起動時間の短縮、シングルクリック共有を含む次世代の SageMaker ノートブック。

SageMaker Studio ノートブックと Amazon EMR

シングルアカウントおよびクロスアカウント構成で SageMaker Studio から直接、Amazon EMR クラスターを簡単に検出、接続、作成、終了、管理できます。

SageMaker Training Compiler

SageMaker によって管理されるスケーラブルな GPU インスタンスで深層学習モデルのトレーニングを高速化できます。