中国のAI(人工知能)企業、月之暗面(Moonshot AI)は7月27日夜、自社開発の大規模言語モデル(LLM)「Kimi K3」のモデルウェイトを全面公開し、技術レポートを発表した。公開から1時間足らずで、Kimi K3はAIモデル共有プラットフォーム「Hugging Face」の総合トレンドランキングで首位に立ち、世界の開発者から注目を集めた。Kimi K3の技術レポートは同日付で公開されている。科技日報が伝えた。
同ランキングの2位も中国発のモデルで、百度(バイドゥ)が公開した「Unlimited OCR」だった。同モデルはそれまで複数日にわたって首位に立っており、Kimi K3とともに、中国発のオープンモデルがランキングの上位2位を占めた。
中国発のモデルがランキング首位に立つこと自体は珍しくなく、これまでにもDeepSeekシリーズをはじめ、複数の中国発オープンモデルが首位を獲得している。Kimi K3とUnlimited OCRは、いずれも公開後の短期間で注目を集めた。特にUnlimited OCRは、公開直後にHugging FaceやGitHubなど4つのランキングで首位となり、公開から約1か月後にもHugging Faceのランキングで再び首位に立った。
Kimi K3はMoE(Mixture of Experts、混合専門家)アーキテクチャを採用し、総パラメータ数は2兆8000億に上る。独自開発した基盤モデルアーキテクチャと学習手法により、画像理解に対応し、100万トークンのコンテキストウィンドウを備える。ソフトウェア開発、知識労働、ディープリサーチ、マルチモーダル理解など、複雑なタスクでの利用を想定している。
一方、Unlimited OCRは、OCR(光学文字認識)に特化し、長文書の解析に対応するモデルである。従来のOCRモデルでは、書籍や論文、報告書などの長い文書を処理する際、ページごとに解析して結果を結合する方式が一般的だった。しかし、出力が長くなるにつれて、モデルが一時的に保持する情報量が増え、推論速度の低下やGPUメモリー使用量の増大につながるという課題があった。
百度はこの課題に対し、人間が長い文書を読み書きする際の作業方法を参考に、過去の情報をすべて保持するのではなく、直近に生成した内容だけを「作業記憶」として保持する仕組みを採用した。これにより、Unlimited OCRは1回のフォワードパスで数十ページにわたる文書を連続して解析でき、最初のページから最後のページまで一貫した出力が可能になった。また、一時的に保持する情報量を抑えることで、出力が長くなっても計算量やGPUメモリー使用量が増え続けない設計としている。