FAISSとAmazon Bedrockを使ったベクトル検索の実装

概要

1. データ収集と準備: 検索対象となるテキストデータを収集し、前処理を行います。

2. テキストの埋め込み: Amazon Bedrockを使用し、収集したテキストデータを数値ベクトルに変換します。
この埋め込みプロセスにより、テキストの意味を数値的に表現します。

3. ベクトルデータのインデックス化: FAISSを用いて、生成された埋め込みベクトルをインデックス化します。
これにより、データベース内のベクトルに迅速にアクセスできるようになります。

4. ベクトル検索の実行: ユーザーからのクエリを受け取り、同様に埋め込みモデルを使ってクエリをベクトル化します。
そして、FAISSを使用して、最も類似したベクトルを検索し、関連するテキスト情報を取得します。

5. 結果の返却: Amazon Bedrockを使用して、自然な言語応答を生成して、検索結果をユーザーに返却し、ブラウザを通じて結果を表示します。

構成

環境構築（事前準備）

1. EC2インスタンス作成

Image: Amazon Linux 2023
配置場所: Public Subnet（インターネットから通信を許可したいので）
セキュリティグループ
インバウンド: 接続させるIPアドレス（全インターネットからのアクセス許可でも問題はありませんが推奨はしません）
アウトバウンド: 全インターネットへのアクセス許可
Role: Amazon Bedrockの権限と、AWS SSMの権限（セッションマネージャーを使わない場合不要）

2. 仮想環境作成

仮想環境とは（ChatGPTより抜粋）

1. 依存関係の管理
パッケージの隔離: 仮想環境を使うことで、特定のプロジェクトの依存関係を他のプロジェクトやシステム全体の環境から分離することができます。  
これにより、異なるプロジェクトが異なるバージョンのパッケージを使用することが可能になります。

2. 環境の再現性
安定した開発環境: 仮想環境を使用すると、開発中のプロジェクトの環境を他の開発者やサーバーに簡単に再現することができます。  
これにより、環境に依存するバグを減らすことができます。

3. 簡単なインストールとアンインストール
手間のない管理: パッケージをインストールしたりアンインストールしたりする際に、仮想環境を利用すると、  
システム全体に影響を及ぼすことなく、必要なものだけを追加できます。

4. システム全体への影響を回避
システムのクリーンさ: 仮想環境内でのパッケージのインストールやアップグレードは、システム全体に影響を与えません。  
これにより、他のアプリケーションやプロジェクトが予期せぬ動作をするリスクが減少します。

5. 異なるプロジェクト間での互換性
異なる依存関係の共存: 複数のプロジェクトを同じマシン上で開発する際に、それぞれが異なるライブラリやライブラリのバージョンを必要とする場合でも、  
仮想環境を使うことで共存が可能です。

> python3 --version

> python3 -m venv myenv
  
myenvは、仮想環境名前なのでなんでも大丈夫です。

下記画像のように、lsコマンドでディレクトリが作成されていれば成功です。

> source myenv/bin/activate

アクティブになると、下記画像のように一番左に作成した仮想環境名が表示されます。

※仮想環境から抜けるには「deactivate」と入力します。

3. 各種インストール

3-1. Pythonパッケージ管理

> sudo yum install python-pip

下記コマンドでインストールされたかを確認します。
> pip --version

また、仮想環境にインストールされたパッケージは
/root/myenv/lib/python3.9/site-packages
で確認できます。

3-2. Flask

> pip install Flask

WARNING: You are using pip version 21.3.1; however, version 24.3.1 is available.
You should consider upgrading via the '/root/myenv/bin/python3 -m pip install --upgrade pip' command.
上記のように、アップグレードしてくださいという警告が出ましたので、下記コマンドを入力します。

> pip install --upgrade pip

from flask import Flask

app = Flask(__name__)

@app.route('/', methods=['GET'])
def home():
    return '<h1>Hello, World!</h1><p>Welcome to my Flask app running on EC2!</p>'

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=80)

3-3. Pythonパッケージ（ライブラリ）

1. langchain-community
> pip install langchain-community
用途: LangChainのコミュニティ拡張パッケージです。公式のLangChainライブラリに加えて、コミュニティメンバーが提供する追加の機能やコンポーネントが含まれています。
特にドキュメントローダーやカスタム機能、PyPDFLoaderなどのPDF処理機能がこのパッケージに含まれています。

2. langchain
> pip install langchain
用途: LangChainは、さまざまな自然言語処理（NLP）タスクを実行するためのフレームワークです。言語モデルやデータ処理を統合して、生成AIアプリケーションを構築するために使用されます。

3. langchain-aws
> pip install langchain-aws
用途: LangChainとAWSサービスを統合するためのパッケージです。Amazon Bedrockや他のAWSサービスを利用して、言語モデルを簡単に使用できるようにします。

4. faiss-cpu
> pip install faiss-cpu（または、pip install faiss-gpu）
用途: 大量のベクトルデータに対する高速検索を提供します。データのインデックス化と検索の効率化を行うために使用されます。
例: ベクトルデータベースとして、テキストの埋め込みや類似度検索に利用。

5. boto3
> pip install boto3
用途: Boto3は、AWSのPython SDKです。これを使うことで、PythonからAWSの各種サービス（S3、EC2、DynamoDBなど）を操作できます。


下記は必要と思いインストールしましたが、必要なかったパッケージです。
インストールするかどうかはお任せします。
6. pypdf
> pip install pypdf
用途: PDFファイルを操作するためのライブラリです。

環境構築（API構築）

1. インデックス作成

1. データの読み込み
'PyPDFLoader'クラスを使って、指定したPDFファイルからテキストを抽出します。
※今回、PDFファイルはインターネットで誰でも見れるものを使いました。

2. テキストの分割
'RecursiveCharacterTextSplitter'クラスを用いて、テキストを小さなチャンク（塊）に分割します。
チャンクは検索時に効率良くアクセスできるように、サイズや重なりを設定して分割されます。

3. ベクトルへの変換（埋め込み）
'BedrockEmbeddings'クラスを使って、各チャンクを「ベクトル」と呼ばれる数値の並びに変換します。このベクトル表現により、類似度検索などが可能になります。  
今回は'amazon.titan-embed-text-v2'モデルを利用してテキストをベクトル化しています。

4. ベクトルストア（インデックス）の作成
'VectorstoreIndexCreator'クラスが、FAISS（Facebook AI Similarity Search）ライブラリを使って、ベクトルを格納するインデックスを構築します。  
このインデックスは、クエリに対して類似のテキストを高速に検索するためのデータ構造です。

> touch app.py

app.pyが作成されていればファイル作成は完了です。

from flask import Flask, request, jsonify
from langchain_community.document_loaders import PyPDFLoader   
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_aws import BedrockEmbeddings
from langchain_community.vectorstores import FAISS
from langchain.indexes import VectorstoreIndexCreator


# インデックスの作成
def create_index():
    # PDFファイルを読み込む
    data = PyPDFLoader('https://ここはインターネットにあるPDFファイルのURLを入力してください)

    # テキスト分割器の準備
    split = RecursiveCharacterTextSplitter(
        separators=["\n\n", "\n", " ", ""],
        chunk_size=100,
        chunk_overlap=10
    )

    # 埋め込みの準備
    embeddings = BedrockEmbeddings(
        model_id='amazon.titan-embed-text-v2:0',
        region_name='us-east-1'
    )

    # インデックス作成オブジェクトの作成
    index = VectorstoreIndexCreator(
        text_splitter=split,
        embedding=embeddings,
        vectorstore_cls=FAISS
    )

    # インデックスを作成
    db_index = index.from_loaders([data])
    return db_index

# グローバルにインデックスを作成
db_index = create_index()

2. テキスト生成関数の定義

# LLMを接続する関数
def llm():
    llm = BedrockLLM(
        region_name='us-east-1',
        model_id='anthropic.claude-v2:1',
        model_kwargs={
            "max_tokens_to_sample": 3000,
            "temperature": 0.1,
            "top_p": 0.9
        }
    )
    return llm

3. APIエンドポイントの定義

app = Flask(__name__)

# APIエンドポイントの定義
@app.route('/search', methods=['GET'])
def search():
    question = request.args.get('query')  # クエリ文字列を取得
    if not question:
        return jsonify({'error': 'No query provided'}), 400

    # LLMを取得し、クエリを実行
    rag_llm = llm()
    response = db_index.query(question=question, llm=rag_llm)

    # 結果を返す
    return jsonify({'response': response})

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=80)

環境構築（完成コード）

from flask import Flask, request, jsonify
from langchain_community.document_loaders import PyPDFLoader   
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_aws import BedrockEmbeddings
from langchain_community.vectorstores import FAISS
from langchain.indexes import VectorstoreIndexCreator
from langchain_aws import BedrockLLM

app = Flask(__name__)

def create_index():
    data = PyPDFLoader('https://PDFがあるURL')

    split = RecursiveCharacterTextSplitter(
        separators=["\n\n", "\n", " ", ""],
        chunk_size=100,
        chunk_overlap=10
    )

    embeddings = BedrockEmbeddings(
        model_id='amazon.titan-embed-text-v2:0',
        region_name='us-east-1'
    )

    index = VectorstoreIndexCreator(
        text_splitter=split,
        embedding=embeddings,
        vectorstore_cls=FAISS
    )

    db_index = index.from_loaders([data])
    return db_index

db_index = create_index()


def llm():
    llm = BedrockLLM(
        region_name='us-east-1',
        model_id='anthropic.claude-v2:1',
        model_kwargs={
            "max_tokens_to_sample": 3000,
            "temperature": 0.1,
            "top_p": 0.9
        }
    )
    return llm


@app.route('/search', methods=['GET'])
def search():
    question = request.args.get('query')
    if not question:
        return jsonify({'error': 'No query provided'}), 400

    rag_llm = llm()
    response = db_index.query(question=question, llm=rag_llm)

    return jsonify({'response': response})

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=80)

API実行

> python3 app.py

実行が成功すれば下記のようになります。
警告が出ていますが、これは開発サーバーなので本番で使用しないでくださいと記載があるだけなので、動作に影響はありません。

http://パブリックIP/search?query='How many days of sick leave are available per year?'

英語
"response": " Based on the context provided, it says \"Nine days of sick leave is available to employees.\" Therefore, the number of days of sick leave available per year is 9 days."

日本語に変換
"response": " 提供されたコンテキストに基づくと、「従業員は 9 日間の病気休暇を利用できます。」と書かれています。したがって、1 年に利用できる病気休暇日数は 9 日です。"

まとめ