翻訳やQA・カスタマーサービス等の生成AIを活用したaiプラットフォームのインフラ設計と構築を実施。マルチクラウドかつ複数のAIモデルに対応したAIプラットフォームの構築事例を紹介します。
要件
複数の生成AIのサブシステムに対応した認証基盤
各生成AIサービス毎のユーザーデータを統合して利用し、AIの精度向上を測れるアーキテクチャ
マルチクラウドで安全なネットワーク通信を各クラウド間で行う事ができる
コンテナを活用したクラウドネイティブ、サーバーレス指向の構成
CIやPipelineによる自動化によって、少人数での開発・運用を実現できる
課題
少人数かつ短期間での開発
複数のチーム/開発会社による協業開発のため、各サブシステム毎に利用するアーキテクチャやクラウドが異なる
リリース後のトラフィック増に耐えうる設計・構成が必要
ソリューション内容
サービスやツール
クラウド
AWS
EKS
EC2
Amplify
RDS / ElastiCache(ValKey)
Lambda
SageMaker
Codeシリーズ
GCP
CloudBuild
CloudRun
Firebase
Azure
OpenAIService
OpenAISearch
OpenAIStudio
アプリケーション
Golang
TypeScript
Next.js
React
Python
FastAPI
構築期間
7ヶ月
工数
21人月
ソリューション詳細
まず複数の生成AIサブシステムのソースコード/設計/構成分析を行い、それぞれのサブシステムを複数のクラウド/ネットワークから統合的に利用できる認証基盤のシステムを当社チームで開発しました。
これにより、利用アーキテクチャやクラウドが異なるサブシステムのシステム統合が可能となり、サブシステム間での連携が可能となりました。
また、複数のクラウド(AWS、Azure、GCP)を利用した構成のため、各クラウド間で安全な通信を行える仮想ネットワークを構築しました。仮想ネットワークを構築した事で、将来的に各クラウドのAIサービス（OpenAI、Bedrock、Gemini、etc）への切り替えが可能な構成を担保できました。
リリースオペレーションや運用の効率化のため、APIはKubernetes上で運用するような構成を採用しトラフィックが増えても自動でシステムがスケール可能な構成を担保し、CI/CDをソースコードのコミットをトリガーに自動実行する構成と運用で運用の効率化を図っています。
結果、短期間で複数チームにまたがる認証基盤とインフラを構築できました。
将来的にトラフィックの増加が見込まれていますが、構成を変更することなくスケール可能なシステム運用が可能になりました。