【速報】AWS re:Invent 2023 アップデート情報(2023/11/28)by Adam Selipsky

    【速報】AWS re:Invent 2023 アップデート情報(2023/11/28)by Adam Selipsky

    目次

      はじめに

      クラウドインテグレーション部の渡邊です。
      今回は、AWS re:Invent 2023のキーノート2日目(Adam Selipsky Keynote)の新サービス発表にフォーカスを当てて、執筆します。

      Amazon S3 Express One Zone

      2023-11-28-09-19-19

      Sage Makerのようなインスタンスを使用する際に、同じAZに配置することで、高いパフォーマンスを発揮します。
      低コストで、高いパフォーマンスを発揮できるのはありがたいです。
      データが失われて良いETL変換後のオブジェクト用バケットや機械学習用に使用するストレージとして使うユースケースが考えられます。

      • データアクセス速度を10倍改善
      • リクエストコストを50%削減(S3 Standardと比較)
      • 1分あたり数百万のリクエストを処理するようにスケール

      S3 Express One Zone can improve data access speeds by 10x and reduce request costs by 50% compared to S3 Standard and scales to process millions of requests per minute.

      引用元:AWS Announces the General Availability of Amazon S3 Express One Zone

      作成したバケットでファイルをアップロードをします。 
      2023-11-28-10-42-15
      その際に、S3 Express One Zoneが選択肢して表示されるものの、選択はできない状態でした(現地時刻:2023/11/28 9時頃)。2023-11-28-10-42-43

      R8g instance sizes

      2023-11-28-11-27-29

      新しいEC2インスタンス世代がサポートされました。
      裏側では、AWS Graviton4が技術として支えになっているそうです。

      2023-11-28-09-20-15

      Graviton3プロセッサと比べ、以下の点が優れています。

      • コンピューティングパフォーマンス(最大30%高い)
      • コア(50%多い)
      • メモリ帯域幅(75%多い)

      Graviton4 provides up to 30% better compute performance, 50% more cores, and 75% more memory bandwidth than current generation Graviton3 processors

      引用元:AWS Unveils Next Generation AWS-Designed Chips

      プレビュー版であるためか、us-east-1において該当のインスタンス世代はありませんでした(現地時刻:2023/11/28 9時頃)。

      [cloudshell-user@ip-10-132-41-62 ~]$ aws ec2 describe-instance-types | grep  r7g
      "InstanceType": "r7gd.xlarge",
      "InstanceType": "r7g.medium",
      "InstanceType": "r7gd.8xlarge",
      "InstanceType": "r7g.metal",
      "InstanceType": "r7gd.16xlarge",
      "InstanceType": "r7g.xlarge",
      "InstanceType": "r7g.2xlarge",
      "InstanceType": "r7gd.medium",
      "InstanceType": "r7gd.4xlarge",
      "InstanceType": "r7g.4xlarge",
      "InstanceType": "r7g.8xlarge",
      "InstanceType": "r7gd.2xlarge",
      "InstanceType": "r7gd.large",
      "InstanceType": "r7g.large",
      "InstanceType": "r7gd.12xlarge",
      "InstanceType": "r7g.12xlarge",
      "InstanceType": "r7g.16xlarge",
      [cloudshell-user@ip-10-132-41-62 ~]$ aws ec2 describe-instance-types | grep r8g
      [cloudshell-user@ip-10-132-41-62 ~]$

      コンソール画面で確認しても同様でした。2023-11-28-09-02-012023-11-28-09-02-15

      Amazon Bedrock系

      以下のアップデートが発表されました。  

      • エージェントによる複数ステップによる実行のサポート
        • 動的にAPIを呼び出す用途の、Amazon Bedrock のエージェントが複数ステップによる実行をサポート
      • Guardrails for Amazon Bedrock
        • 以下を満たすためのセーフガードとして機能
          • アプリ要件
          • 顧客や社会へAIの公平性、透明性を保証する「責任あるAI」の方針
      • 検索拡張生成 (RAG)
        • 検索ベースと生成ベースの長所を組み合わせたモデル自然言語処理「RAG」を簡単に作成可能
        • ナレッジベースというものを作成することで実現可能

      enable generative AI applications to execute multistep tasks, and build safeguards into their applications.

      引用元:AWS CEO Adam Selipsky announces powerful new capabilities for generative AI service Amazon Bedrock

      検証している記事が以下公式ブログでアップロードされています。
       Knowledge Bases now delivers fully managed RAG experience in Amazon Bedrock2023-11-28-09-21-33

      2023-11-28-11-40-07

      また、新発表されたチップ「Trainium2」のあとに本発表があったことから、それを支える技術として「Trainium2」が使用されていると思われます。
      こちらによって、生成系AIのパフォーマンス改善が期待されます。

      Trainium2 is designed to deliver up to 4x faster training than first generation Trainium chips and will be able to be deployed in EC2 UltraClusters of up to 100,000 chips, making it possible to train foundation models (FMs) and large language models (LLMs) in a fraction of the time, while improving energy efficiency up to 2x.

      AWS Unveils Next Generation AWS-Designed Chips

      Amazon DataZone

      データのガバナンスに使われるAmazon DataZoneが、生成系AIによる自動化機能をサポートしました。
      カラム名とテーブル名、それぞれの詳細な説明、および推奨される用途を自動的に生成できるそうです。
      データのカタログ化をする上でdescriptionを自動生成してくれるのはありがたいかもしれませんね。

      Now, in addition to column and table names, you can automatically generate more detailed descriptions of the table and schema, as well as suggested uses.

      引用元:New generative AI capabilities for Amazon DataZone to further simplify data cataloging and discovery (preview)

      Amazon Q

      生成系AIによるアシスタントサービスです。
      こちらを利用することで、生成系AIによる対話式のサポートを得ることができます。
      いくつか機能が提供されております。

      コンソール画面の右側にある六角形のロゴをクリックするとチャットが表示されます。
      Amazon Qは英語のみサポートされているので、ご注意ください。2023-11-28-10-44-36

      回答と、そのソースが表示されるので、AWSサポートセンターの負荷が軽減されそうですね。

      検証したところ、本日(現地日時:2023/11/28)あった新機能の発表について誤った回答をしていたため、反映には多少時間がかかるようです。
      たとえば、DynamoDBとAmazon OpenSearchのゼロETL統合がサポートされているか確認したところ、サポートされていない旨の回答がされました。

      2023-11-28-11-47-43

      2023-11-28-11-47-57

      他にも、コンソール画面でデータソースを選択して生成系AIのアプリケーションも作れます。
      会社の情報などをもとにアシスタントをしてくれることが期待できそうです。2023-11-28-20-09-14

      a new generative AI–powered assistant that is specifically designed for work and can be tailored to your business to have conversations, solve problems, generate content, and take actions using the data and expertise found in your company’s information repositories, code, and enterprise systems.

      Amazon Q (Preview)

      他にもできることや詳細な検証があるため、記事「Amazon Q プレビュー版が公開されました!」をご参考ください。 

      ゼロETL系

      ゼロETLをサポートするサービスが増えました。
      Amazon Redshiftに対しては以下が追加サポートされました。

      • Amazon Aurora PostgreSQL
      • Amazon DynamoDB
      • Amazon RDS for MySQL

      2023-11-28-10-36-48

      Amazon OpenSearchに対してはAmazon DynamoDBがサポートされました。
      いずれにせよ、今までゼロETLでNoSQLをサポートしていなかったので驚きました。
      OpenSearchでDynamoDBをほぼリアルタイムで全文検索できるのはありそうなユースケースだと思いました。

      Amazon Aurora PostgreSQL, Amazon DynamoDB, and Amazon RDS for MySQL zero-ETL integrations with Amazon Redshift enable customers to analyze data from multiple sources without building and maintaining custom data pipelines

      Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service enables full-text and vector search on operational data in near real time

      AWS Announces Four Zero-ETL Integrations to Make Data Access and Analysis Faster and Easier Across Data Stores

      コンソール画面を確認すると、インテグレーションというゼロETLのための項目が追加されていました。
      チュートリアルも出ているため、ぜひやってみてください。

      2023-11-28-11-12-35

      【参考】

      Amazon S3 Express One Zone Storage Class

      Amazon Q brings generative AI-powered assistance to IT pros and developers (preview)

      Join the preview for new memory-optimized, AWS Graviton4-powered Amazon EC2 instances (R8g)

      Guardrails for Amazon Bedrock (Preview)

      ナレッジベースとしての Amazon Bedrock

      アジアクエスト株式会社では一緒に働いていただける方を募集しています。
      興味のある方は以下のURLを御覧ください。