FHIR🌏 USA整理済
日々のAI利用が450億トークンに!米通信大手はコスト高騰をどう乗り切ったか?
每日吃掉四百五十億詞元!美國電信巨頭如何靠智慧分流法救回九成成本? | CIO Taiwan
2026年10月12日
サマリー
米国の大手通信業者が、AI利用による日々のトークン消費量が80億から450億へと急増する事態に直面した。これに対し、同社は「AIゲートウェイ」を導入し、タスクの性質に応じて最適なモデルを自動で振り分ける仕組みを構築。さらに、専門データで独自のオープンモデルを開発することで、コスト削減とデータ主権の確保を両立させた。
詳細
同社は、AIアシスタントの普及に伴い、単一のタスク処理に必要なトークン量が急増し、AI推論コストが暴漲するという課題に直面した。この問題に対し、同社は「AIゲートウェイ」と呼ばれる仕組みを導入した。これは、ユーザーからの質問が来た際、応答速度、コスト、品質要求を即座に計算し、最も費用対効果の高いモデルにタスクを自動で振り分ける「知的な交通警察」のような役割を果たす。具体的には、コードの読み取りなど計算負荷の低い作業にはオープンソースモデルを、新規コード作成のような複雑な作業にのみ高性能なクローズドモデルを限定的に使用することで、関連作業のコストを大幅に削減した。さらに、電信専門の膨大なデータ(1兆トークン超)を用いて、オープンモデルGemmaを基盤とした独自の専門モデルを開発。このモデルを社内サーバーで運用することで、データ外流のリスクを排除し、特定のベンダーへの依存から脱却した。その結果、一部のアプリケーションではコストが80〜90%も急落し、全体の投資収益率(ROI)を5倍に引き上げることに成功した。
原文を読む
cio.com.tw
Original content copyright by respective publishers