はじめに
クラウドインテグレーション部の渡邊です。
今回は、AWS re:Invent 2023のキーノート2日目（Adam Selipsky Keynote）の新サービス発表にフォーカスを当てて、執筆します。
Amazon S3 Express One Zone
Sage Makerのようなインスタンスを使用する際に、同じAZに配置することで、高いパフォーマンスを発揮します。
低コストで、高いパフォーマンスを発揮できるのはありがたいです。
データが失われて良いETL変換後のオブジェクト用バケットや機械学習用に使用するストレージとして使うユースケースが考えられます。
- データアクセス速度を10倍改善
- リクエストコストを50%削減（S3 Standardと比較）
- 1分あたり数百万のリクエストを処理するようにスケール
S3 Express One Zone can improve data access speeds by 10x and reduce request costs by 50% compared to S3 Standard and scales to process millions of requests per minute.
引用元：AWS Announces the General Availability of Amazon S3 Express One Zone
作成したバケットでファイルをアップロードをします。 
その際に、S3 Express One Zoneが選択肢して表示されるものの、選択はできない状態でした（現地時刻：2023/11/28 9時頃）。
R8g instance sizes
新しいEC2インスタンス世代がサポートされました。
裏側では、AWS Graviton4が技術として支えになっているそうです。
Graviton3プロセッサと比べ、以下の点が優れています。
- コンピューティングパフォーマンス（最大30%高い）
- コア（50%多い）
- メモリ帯域幅（75%多い）
Graviton4 provides up to 30% better compute performance, 50% more cores, and 75% more memory bandwidth than current generation Graviton3 processors
引用元：AWS Unveils Next Generation AWS-Designed Chips
プレビュー版であるためか、us-east-1において該当のインスタンス世代はありませんでした（現地時刻：2023/11/28 9時頃）。
[cloudshell-user@ip-10-132-41-62 ~]$ aws ec2 describe-instance-types | grep r7g
"InstanceType": "r7gd.xlarge",
"InstanceType": "r7g.medium",
"InstanceType": "r7gd.8xlarge",
"InstanceType": "r7g.metal",
"InstanceType": "r7gd.16xlarge",
"InstanceType": "r7g.xlarge",
"InstanceType": "r7g.2xlarge",
"InstanceType": "r7gd.medium",
"InstanceType": "r7gd.4xlarge",
"InstanceType": "r7g.4xlarge",
"InstanceType": "r7g.8xlarge",
"InstanceType": "r7gd.2xlarge",
"InstanceType": "r7gd.large",
"InstanceType": "r7g.large",
"InstanceType": "r7gd.12xlarge",
"InstanceType": "r7g.12xlarge",
"InstanceType": "r7g.16xlarge",
[cloudshell-user@ip-10-132-41-62 ~]$ aws ec2 describe-instance-types | grep r8g
[cloudshell-user@ip-10-132-41-62 ~]$
コンソール画面で確認しても同様でした。
Amazon Bedrock系
以下のアップデートが発表されました。
- エージェントによる複数ステップによる実行のサポート
- 動的にAPIを呼び出す用途の、Amazon Bedrock のエージェントが複数ステップによる実行をサポート
- Guardrails for Amazon Bedrock
- 以下を満たすためのセーフガードとして機能
- アプリ要件
- 顧客や社会へAIの公平性、透明性を保証する「責任あるAI」の方針
- 以下を満たすためのセーフガードとして機能
- 検索拡張生成 (RAG)
- 検索ベースと生成ベースの長所を組み合わせたモデル自然言語処理「RAG」を簡単に作成可能
- ナレッジベースというものを作成することで実現可能
enable generative AI applications to execute multistep tasks, and build safeguards into their applications.
引用元：AWS CEO Adam Selipsky announces powerful new capabilities for generative AI service Amazon Bedrock
検証している記事が以下公式ブログでアップロードされています。
Knowledge Bases now delivers fully managed RAG experience in Amazon Bedrock
また、新発表されたチップ「Trainium2」のあとに本発表があったことから、それを支える技術として「Trainium2」が使用されていると思われます。
こちらによって、生成系AIのパフォーマンス改善が期待されます。
Trainium2 is designed to deliver up to 4x faster training than first generation Trainium chips and will be able to be deployed in EC2 UltraClusters of up to 100,000 chips, making it possible to train foundation models (FMs) and large language models (LLMs) in a fraction of the time, while improving energy efficiency up to 2x.
AWS Unveils Next Generation AWS-Designed Chips
Amazon DataZone
データのガバナンスに使われるAmazon DataZoneが、生成系AIによる自動化機能をサポートしました。
カラム名とテーブル名、それぞれの詳細な説明、および推奨される用途を自動的に生成できるそうです。
データのカタログ化をする上でdescriptionを自動生成してくれるのはありがたいかもしれませんね。
Now, in addition to column and table names, you can automatically generate more detailed descriptions of the table and schema, as well as suggested uses.
Amazon Q
生成系AIによるアシスタントサービスです。
こちらを利用することで、生成系AIによる対話式のサポートを得ることができます。
いくつか機能が提供されております。
コンソール画面の右側にある六角形のロゴをクリックするとチャットが表示されます。
Amazon Qは英語のみサポートされているので、ご注意ください。
回答と、そのソースが表示されるので、AWSサポートセンターの負荷が軽減されそうですね。
検証したところ、本日（現地日時：2023/11/28）あった新機能の発表について誤った回答をしていたため、反映には多少時間がかかるようです。
たとえば、DynamoDBとAmazon OpenSearchのゼロETL統合がサポートされているか確認したところ、サポートされていない旨の回答がされました。
他にも、コンソール画面でデータソースを選択して生成系AIのアプリケーションも作れます。
会社の情報などをもとにアシスタントをしてくれることが期待できそうです。
a new generative AI–powered assistant that is specifically designed for work and can be tailored to your business to have conversations, solve problems, generate content, and take actions using the data and expertise found in your company’s information repositories, code, and enterprise systems.
他にもできることや詳細な検証があるため、記事「Amazon Q プレビュー版が公開されました！」をご参考ください。
ゼロETL系
ゼロETLをサポートするサービスが増えました。
Amazon Redshiftに対しては以下が追加サポートされました。
- Amazon Aurora PostgreSQL
- Amazon DynamoDB
- Amazon RDS for MySQL
Amazon OpenSearchに対してはAmazon DynamoDBがサポートされました。
いずれにせよ、今までゼロETLでNoSQLをサポートしていなかったので驚きました。
OpenSearchでDynamoDBをほぼリアルタイムで全文検索できるのはありそうなユースケースだと思いました。
Amazon Aurora PostgreSQL, Amazon DynamoDB, and Amazon RDS for MySQL zero-ETL integrations with Amazon Redshift enable customers to analyze data from multiple sources without building and maintaining custom data pipelines
Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service enables full-text and vector search on operational data in near real time
コンソール画面を確認すると、インテグレーションというゼロETLのための項目が追加されていました。
チュートリアルも出ているため、ぜひやってみてください。
【参考】
Amazon S3 Express One Zone Storage Class
Amazon Q brings generative AI-powered assistance to IT pros and developers (preview)
Join the preview for new memory-optimized, AWS Graviton4-powered Amazon EC2 instances (R8g)
