「自社システムにChatGPTを組み込むためには?にChatGPTを組み込むためには?」
「サテライトAI」第10弾のご紹介です。
本日「社内ドキュメントRAG学習 データ作成SDK」をご紹介します。
なにそれ?って思った方も多いかと思います。
まずは、RAG (Retrieval-Augmented Generationの略)とは? ですが、
AI(LLM:大規模言語モデル)へ質問し回答をもらう場合、
社内情報などを、AIに外部特定情報として学習させるテクノロジーになります。
大量のドキュメントからテキストデータを抜出し、
AI質問に関する関連情報を収集し、外部情報として付加した上で、
LLMをコールします。
類似の手法として、ファインチューニングという手法がありますが、
ファインチューニングは超大量のデータをLLM自体に
学習させる必要があり、企業では、
RAGが社内情報AIチューニングのメイン手法となります。
RAG(社内データAI学習)処理プロセスは下記の流れになります。
①社内の大量のドキュメント(Excel,Word,PPT,PDF)から文字抽出
②大量の文字を、適切な文字の塊に分割(チャンキング)
③文字データをベクトルデータ化(エンペディング)
④相関類似文書の抽出(ベクトルデータ検索)
⑤外部特定情報として付与し、LLMによるAI回答をもらう
今回のサービスはこのRAGを作成する
SDK(Software Development Kit)になります。
本SDK を使っていただく事で、
①AzureOpenAIService@RAG(社内ドキュメントのAI学習)対応
②Google VertexAI@RAG (社内ドキュメントのAI学習)対応
の重大問題点を解決できます!
③OpenAI社のRAG対応=Assistant APIを活用できます。
最も重要なのはChatGPT(チャットGPT)への質問内容を
AI側に学習させなくする事が可能な点です。
自社ソリューションにChatGPTを組み込みたいと
思われた方はぜひ検討ください。
「あっ! これいい!!」と思ったら
ぜひベアコネまでご相談ください。
https://ssl.form-mailer.jp/fms/37bb3c5d755640
「ベストアライアンスパートナー講座」はこちらをごください。
https://www.beaconne.com/posts/categories/6669841/page/1?type=grid
「ベストアライアンスパートナー講座note有料マガジン」はこちらをご覧ください。
https://note.com/beaconne_oneteam/m/m6d6367bfdd5e
追伸
オリンピックがあっという間に終わりました。
毎日ニュースで結果を見るのが楽しみでした。
イチオシは女子やり投げでしょうか。
北口選手、最高ですね。
決勝の一投目から勝負を挑み、
それが自己ベストで、金メダルとなりました。
あまりの嬉しさに、金メダルの人が鳴らす
金をガンガンに慣らして、日の丸を纏って
何回もジャンプしてましたね。
こういうシーンを見ると、
本当に自分の事のように嬉しくなります。
次のロサンゼルスもとても期待してしまう
岩宮がお送りしました!
0コメント