AQ Tech Blog

【速報】AWS re:Invent 2023 アップデート情報(2023/11/28)by Adam Selipsky

作成者: tsuyoshi.watanabe|2023年12月01日

はじめに

クラウドインテグレーション部の渡邊です。
今回は、AWS re:Invent 2023のキーノート2日目(Adam Selipsky Keynote)の新サービス発表にフォーカスを当てて、執筆します。

Amazon S3 Express One Zone

Sage Makerのようなインスタンスを使用する際に、同じAZに配置することで、高いパフォーマンスを発揮します。
低コストで、高いパフォーマンスを発揮できるのはありがたいです。
データが失われて良いETL変換後のオブジェクト用バケットや機械学習用に使用するストレージとして使うユースケースが考えられます。

  • データアクセス速度を10倍改善
  • リクエストコストを50%削減(S3 Standardと比較)
  • 1分あたり数百万のリクエストを処理するようにスケール

S3 Express One Zone can improve data access speeds by 10x and reduce request costs by 50% compared to S3 Standard and scales to process millions of requests per minute.

引用元:AWS Announces the General Availability of Amazon S3 Express One Zone

作成したバケットでファイルをアップロードをします。 

その際に、S3 Express One Zoneが選択肢して表示されるものの、選択はできない状態でした(現地時刻:2023/11/28 9時頃)。

R8g instance sizes

新しいEC2インスタンス世代がサポートされました。
裏側では、AWS Graviton4が技術として支えになっているそうです。

Graviton3プロセッサと比べ、以下の点が優れています。

  • コンピューティングパフォーマンス(最大30%高い)
  • コア(50%多い)
  • メモリ帯域幅(75%多い)

Graviton4 provides up to 30% better compute performance, 50% more cores, and 75% more memory bandwidth than current generation Graviton3 processors

引用元:AWS Unveils Next Generation AWS-Designed Chips

プレビュー版であるためか、us-east-1において該当のインスタンス世代はありませんでした(現地時刻:2023/11/28 9時頃)。

[cloudshell-user@ip-10-132-41-62 ~]$ aws ec2 describe-instance-types | grep  r7g
"InstanceType": "r7gd.xlarge",
"InstanceType": "r7g.medium",
"InstanceType": "r7gd.8xlarge",
"InstanceType": "r7g.metal",
"InstanceType": "r7gd.16xlarge",
"InstanceType": "r7g.xlarge",
"InstanceType": "r7g.2xlarge",
"InstanceType": "r7gd.medium",
"InstanceType": "r7gd.4xlarge",
"InstanceType": "r7g.4xlarge",
"InstanceType": "r7g.8xlarge",
"InstanceType": "r7gd.2xlarge",
"InstanceType": "r7gd.large",
"InstanceType": "r7g.large",
"InstanceType": "r7gd.12xlarge",
"InstanceType": "r7g.12xlarge",
"InstanceType": "r7g.16xlarge",
[cloudshell-user@ip-10-132-41-62 ~]$ aws ec2 describe-instance-types | grep r8g
[cloudshell-user@ip-10-132-41-62 ~]$

コンソール画面で確認しても同様でした。

Amazon Bedrock系

以下のアップデートが発表されました。  

  • エージェントによる複数ステップによる実行のサポート
    • 動的にAPIを呼び出す用途の、Amazon Bedrock のエージェントが複数ステップによる実行をサポート
  • Guardrails for Amazon Bedrock
    • 以下を満たすためのセーフガードとして機能
      • アプリ要件
      • 顧客や社会へAIの公平性、透明性を保証する「責任あるAI」の方針
  • 検索拡張生成 (RAG)
    • 検索ベースと生成ベースの長所を組み合わせたモデル自然言語処理「RAG」を簡単に作成可能
    • ナレッジベースというものを作成することで実現可能

enable generative AI applications to execute multistep tasks, and build safeguards into their applications.

引用元:AWS CEO Adam Selipsky announces powerful new capabilities for generative AI service Amazon Bedrock

検証している記事が以下公式ブログでアップロードされています。
 Knowledge Bases now delivers fully managed RAG experience in Amazon Bedrock

また、新発表されたチップ「Trainium2」のあとに本発表があったことから、それを支える技術として「Trainium2」が使用されていると思われます。
こちらによって、生成系AIのパフォーマンス改善が期待されます。

Trainium2 is designed to deliver up to 4x faster training than first generation Trainium chips and will be able to be deployed in EC2 UltraClusters of up to 100,000 chips, making it possible to train foundation models (FMs) and large language models (LLMs) in a fraction of the time, while improving energy efficiency up to 2x.

AWS Unveils Next Generation AWS-Designed Chips

Amazon DataZone

データのガバナンスに使われるAmazon DataZoneが、生成系AIによる自動化機能をサポートしました。
カラム名とテーブル名、それぞれの詳細な説明、および推奨される用途を自動的に生成できるそうです。
データのカタログ化をする上でdescriptionを自動生成してくれるのはありがたいかもしれませんね。

Now, in addition to column and table names, you can automatically generate more detailed descriptions of the table and schema, as well as suggested uses.

引用元:New generative AI capabilities for Amazon DataZone to further simplify data cataloging and discovery (preview)

Amazon Q

生成系AIによるアシスタントサービスです。
こちらを利用することで、生成系AIによる対話式のサポートを得ることができます。
いくつか機能が提供されております。

コンソール画面の右側にある六角形のロゴをクリックするとチャットが表示されます。
Amazon Qは英語のみサポートされているので、ご注意ください。

回答と、そのソースが表示されるので、AWSサポートセンターの負荷が軽減されそうですね。

検証したところ、本日(現地日時:2023/11/28)あった新機能の発表について誤った回答をしていたため、反映には多少時間がかかるようです。
たとえば、DynamoDBとAmazon OpenSearchのゼロETL統合がサポートされているか確認したところ、サポートされていない旨の回答がされました。

他にも、コンソール画面でデータソースを選択して生成系AIのアプリケーションも作れます。
会社の情報などをもとにアシスタントをしてくれることが期待できそうです。

a new generative AI–powered assistant that is specifically designed for work and can be tailored to your business to have conversations, solve problems, generate content, and take actions using the data and expertise found in your company’s information repositories, code, and enterprise systems.

Amazon Q (Preview)

他にもできることや詳細な検証があるため、記事「Amazon Q プレビュー版が公開されました!」をご参考ください。 

ゼロETL系

ゼロETLをサポートするサービスが増えました。
Amazon Redshiftに対しては以下が追加サポートされました。

  • Amazon Aurora PostgreSQL
  • Amazon DynamoDB
  • Amazon RDS for MySQL

Amazon OpenSearchに対してはAmazon DynamoDBがサポートされました。
いずれにせよ、今までゼロETLでNoSQLをサポートしていなかったので驚きました。
OpenSearchでDynamoDBをほぼリアルタイムで全文検索できるのはありそうなユースケースだと思いました。

Amazon Aurora PostgreSQL, Amazon DynamoDB, and Amazon RDS for MySQL zero-ETL integrations with Amazon Redshift enable customers to analyze data from multiple sources without building and maintaining custom data pipelines

Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service enables full-text and vector search on operational data in near real time

AWS Announces Four Zero-ETL Integrations to Make Data Access and Analysis Faster and Easier Across Data Stores

コンソール画面を確認すると、インテグレーションというゼロETLのための項目が追加されていました。
チュートリアルも出ているため、ぜひやってみてください。

【参考】

Amazon S3 Express One Zone Storage Class

Amazon Q brings generative AI-powered assistance to IT pros and developers (preview)

Join the preview for new memory-optimized, AWS Graviton4-powered Amazon EC2 instances (R8g)

Guardrails for Amazon Bedrock (Preview)

ナレッジベースとしての Amazon Bedrock