スイス連邦工科大学チューリッヒ校のスケーラブル並列コンピューティング研究所所長であるトルステン・ホフラー(Torsten Hoefler) 氏が、Supercomputing Asia誌にHPCの教育、規制、国際協力について語った。(2024年6月4日公開)

高性能コンピューティング (HPC) と人工知能 (AI) は、当初は連携して機能するように設計されてはいなかったが、融合してデジタル時代の礎石となり、産業プロセスを再構築し、科学的探求を新たなフロンティアへと押し進めている。

HPCシステムの計算処理能力とスケーラビリティは、最新のAIソフトウェアの基本的な機能である。このような機能は、複雑な物流ネットワークの計画や宇宙の謎の解明など、難しい用途に関して特に役立つ。一方、AIを使用すると、研究者や企業もHPCシステムを最大限に活用して、スマートなワークロード処理を実行できるようになる。

スイス連邦工科大学チューリッヒ校のスケーラブル並列コンピューティング研究所所長であるトルステン・ホフラー教授は「高性能のチップと洗練されたコードの出現により、AIはHPCとほぼ同義語になりました」と語る。

ハードウェア・ソフトウェアから教育や国境を越えた協力に至るまで、並列コンピューティングシステムの研究と開発に数十年を費やしてきたホフラー教授は、さまざまなHPCコンポーネントの組み合わせの達人である。並列コンピューティングシステムは複数の計算を同時に実行させることができ、今日のAI機能のまさに基盤となっている。また、ホフラー教授は、スイス国立スーパーコンピューティングセンター (CSCS) の機械学習のチーフアーキテクトに新たに任命され、そこで高度AIの用途に関する戦略策定を担当している。

熱心なAI推進派であるホフラー教授にとって、協力することが使命の中心となっている。スーパーコンピューターのディープラーニングアプリの開発から気候モデリング向けAI活用まで、彼はシンガポールの国立スーパーコンピューティングセンター (NSCC)、日本の理化学研究所、北京の清華大学、オーストラリアのNational Computational Infrastructureなど、アジア太平洋地域のさまざまな研究機関と多くのプロジェクトに取り組んできた。

研究の他に、ホフラー教授は常に教育のことも考えている。彼は、並列プログラミングやAI処理システムなどの複雑な概念を早期に学校カリキュラムに入れるべきという信念を持つ。このような教育に重点を置くことで、将来の世代が単なるユーザーではなく、コンピューティング技術に革新を生み出すかもしれない。

ホフラー教授は「私は将来、学生がAI技術を十分に理解し活用できるようになることを願い、特に今の若い学生たちにこの考えを伝えるようにしています」と付け加えた。「教育を使命としなければなりません。だからこそ、私は産業界で働くのではなく、教授になることを選びました」。ホフラー教授はSupercomputing Asia誌とのインタビューの中で、CSCSでの新しい役割、HPCとAIの相互作用、およびこの分野の将来の展望について語った。

Q： あなたの仕事について教えてください。

CSCSは大手データセンタープロバイダーの影響を受け、従来のスーパーコンピューティングセンターからAIに重点を置いたセンターに変わりつつあります。私たちの計画のうち主なもののひとつは、近いうちに導入する「Alps」マシンのAIワークロードを拡張することです。このマシンは、世界最大ではないにしても、ヨーロッパ最大のオープンサイエンスAIスーパーコンピューターの1つとなる予定です。このマシンは今年初めに登場する予定で、従来の高性能コードだけでなく、言語モデリングなど科学目的の大規模機械学習も実行できます。私の役割は、CSCSのシニアアーキテクトであるステファノ・シュッピ (Stefano Schuppli) 氏がこのシステムを設計するのを支援すること、そしてLLaMAなどの大規模言語モデルや、気象、気候、または医療用途モデルの基礎トレーニングを実施することです。

また、アジアやヨーロッパのいくつかの研究機関と協力して「Earth Virtualization Engines」プロジェクトにも取り組んでいます。私たちは、高解像度の気候シミュレーションを実行するスーパーコンピューターの連合ネットワークを構築したいと考えています。このプロジェクトでは「デジタルツイン」を使い、二酸化炭素排出量や極端な現象の分布など、人間が地球に与える長期的な影響を予測することを目的としています。極端な現象については、台風などの自然災害が発生しやすいシンガポールやその他のアジア諸国に特に関係します。

プロジェクトの規模が大きいため、多くのコンピューティングセンターとの連携が必要です。私たちはアジアからいくつものセンターが参加してローカルシミュレーションを実行することを期待しています。このプロジェクトの重要な側面は、例えばナビエ・ストークス方程式やオイラー方程式を解いて天気や気候を予測するといった従来の物理シミュレーションを、データ駆動型のディープラーニング手法と統合することです。この方法では、数十年にわたって収集された、地球に関する多くのセンサーデータが活用されています。

このプロジェクトでは、キロメートルスケールの解像度を目標にしています。このスケールの解像度は気候システムの重要な要素である雲を正確に分析するために重要です。

Q： 並列コンピューティングとは何ですか？

並列コンピューティングはシンプルで魅力的です。その中心となるのは、複数のプロセッサを使用してタスクを実行することです。これは、集団の中でグループ活動を組織するようなものだと考えてください。たとえば、1,000の数字を並べ替えるタスクがあるとします。このタスクを1人でやろうとすると難しいですが、100人単位でそれぞれが10の数字を並べ替えると簡単になります。並列コンピューティングも同じような原理で動作し、人間ソートその他複数の実行ユニットを調整して1つのタスクを完了します。

基本的に、超並列モデルをトレーニングできる超並列デバイスがあれば、ディープラーニングは可能であると言えます。現在、AIシステムのワークロードは非常に並列化されており、数千、さらには数百万の処理コンポーネントに分散することができます。

Q： AI用途を有効にし、展開し、進化させるための重要な要素は何ですか？

私たちが今日目にしているAI革命は、基本的に3つの異なる要素により進化しています。まず、確率的勾配降下法などといったトレーニング方法を決定するアルゴリズム要素です。2つ目はデータ可用性であり、入力モデルにとって重要です。3つ目は計算要素で、数値処理に不可欠です。私たちは効果的なシステムを構築しようとして共同設計プロセスに取り組んでいます。これには、HPCハードウェアを特定のワークロード、アルゴリズム、データ要件に合わせて調整することが含まれます。Tensorコアはそのような要素の一つです。

Tensorコアはディープラーニングに不可欠な特殊な行列乗法エンジンであり、深層学習の中心的なタスクである行列乗算を非常に高速で実行します。

もう1つの重要な側面は、特化された小さなデータ型の使用です。ディープラーニングの本質的な目的は、生物学的回路である脳をエミュレートすることです。私たちの頭の中には暗くてどろどろした脳があります。そこは約860億個のニューロンであふれているのですが、それぞれのニューロンの解像度は驚くほど低いのです。

神経科学者は、人間の脳は約24の電圧差を区別していることを証明しました。これは、4ビットをわずかに超える能力に相当します。従来のHPCシステムが64ビットで動作することを考えると、これはAIにとってかなりの負担になります。現在、ほとんどのディープラーニングシステムは16ビットでトレーニングし、8ビットで実行できます。これはAIには十分ですが、科学計算には十分ではありません。

最後になりますが、生体回路のもう1つの特性であるスパース性について見ていきます。私たちの脳では、各ニューロンは他のすべてのニューロンと結合しているわけではないのです。ディープラーニングでは、この性質が反映され回路はスパース性を持ちます。たとえば、NVIDIAハードウェアでは2対4のスパース性が見られます。これは、4つの要素のうち2つだけが結合していることを意味します。この方法により、計算速度はさらに向上します。

全体として、これらの開発は計算効率の向上を目的としています。企業がディープニューラルネットワークのトレーニングに数十億ドルまでは行かなくとも数百万ドルを投資していることを考えると、これは重要な要素です。

Q： AIの用途の中で、最も期待できるものは何ですか？

最も期待できるものの1つは、気象分野と気候科学分野です。現在、一部のディープラーニングモデルは、従来のシミュレーションよりも1,000倍低いコストで、同等の精度で天気を予測できます。これらのモデルはまだ研究段階にありますが、いくつかのセンターが生産に向けて動いています。私は、極端気象や長期的な気候傾向の予測での画期的な進歩を期待しています。たとえば、今後数十年間にシンガポールのような場所に台風が上陸する確率と強度を予測します。これは、海岸線のどこに建設するか、強度の高い堤防が必要か否かを決定するなど、長期的な計画を立てるのに不可欠です。

もう1つの期待できる分野は、個人の遺伝子の違いに基づいて医療のオーダーメイドを行う個別化医療です。ディープラーニングとビッグデータシステムの出現により、世界中の病院の治療データを分析できるようになり、各人の遺伝子構造に基づいて個別化された効果的な医療への道が開かれるようになりました。

最後になりますが、現在、ほとんどの人がChatGPTやBing Chatなどの生成型AIチャットボットについてよくご存じです。このようなボットは、基本的推論に近い機能を備えた大規模言語モデルに基づいています。また、論理的推論の原始的な形式も用います。ボットは「猫ではない」などの概念を学びます。これは単純な否定形式ですが、複雑性の高い論理への一歩となります。人類が複雑な考えを単純化するために数学を発達させたように、これらのモデルが知識や概念を圧縮してどのように進化していくかを垣間見ることができます。これは魅力的な方向に発展する可能性がありますが、私たちは想像することしかできません。

Q： これらの分野ではどのような課題が発生すると思いますか？

気象研究と気候研究の場合、主な課題は生成される膨大な量のデータを管理することです。高解像度でキロメートルスケールの気候シミュレーション全体は、それ一つでエクサバイトを超えるデータを生成できます。この溢れかえるデータを扱うことは重要な作業であり、データを管理し処理するために革新的な戦略が必要です。

クラウドコンピューティングへの移行により、スーパーコンピューティングリソースへのアクセスが拡大しましたが、これは同時に、医療記録などの機密データをさらに規模に処理することを意味します。したがって、精密医療における主な障害はセキュリティとプライバシーです。人々が悪用を懸念せず自分の健康記録を伝えるには、慎重に匿名化をしなければなりません。

これまで、スーパーコンピューターは、限られた人々がアクセスできる安全な施設内でのみ機密性の高いデータを処理していました。しかし現在、これらのシステムにアクセスする人が増えているため、データのセキュリティを確保することが不可欠です。私のチームは最近、スーパーコンピューティング・カンファレンス2023でディープラーニングシステムに準同型暗号を使用しセキュリティを保つ新しいアルゴリズムを提案し、最優秀学生論文賞と最優秀再現性進歩賞の両方を受賞しました。これはまったく新しい方向性であり、医療コンピューティングにおけるセキュリティの解決に役立ちます。

大規模言語モデルの場合、課題はコンピューティングの効率、特に並列コンピューティングシステム内の通信にあります。並列コンピューティングでは高速ネットワークを介して数千のアクセラレータを接続する必要がありますが、現在のネットワークは仕事量の多すぎるワークロードには遅すぎます。

これに対処するために、私たちはウルトラ・イーサネット・コンソーシアムの立ち上げを支援し、大規模なワークロード用に最適化された新しいAIネットワークを開発しました。けれどこのネットワークは気象と医療の分野における試作的ソリューションの一部にすぎません。産業界とコンピューティングセンターは、これらのソリューションの実装を検討し、さらに改良を加えて、生産可能なものにする必要があります。

Q： HPCはAIのバイアスとプライバシーの問題にどのように対処できますか？

AIのバイアスとプライバシーに取り組むには、データセキュリティの確保とプライバシーの維持という2つの主要な課題が伴います。医療のような機密分野であってもデジタルデータ処理への移行により、データの安全性とプライバシーをどのように確保するかについて懸念が生じます。課題は2つあります。1つは悪意のある攻撃からインフラを保護すること、もう1つは個人データが誤ってAIモデルのトレーニングデータセットの一部にならないように気をつけることです。

大規模言語モデルの場合、ChatGPTなどのシステムに入力したデータが別のモデルのトレーニングに使用されるかもしれないという懸念があります。企業は安全でプライベートなオプションを提供していますが、多くの場合費用がかかります。たとえば、マイクロソフトの検索拡張生成技術を使えばデータは実行中にのみ使用され、モデルに永続的に埋め込まれることはありません。

AIのバイアスは、データそのものに由来することが多く、人が既に持っているバイアスを反映しています。HPCは、必要な計算能力を提供することで、モデルの「バイアス除去」を支援します。バイアス除去は、データ集約的なプロセスであり、あまり表現されていないデータを強調するために大量のコンピューティングリソースを必要とします。バイアスを特定して修正するのは主にデータサイエンティストの仕事であり、この作業には計算と倫理の両方を考慮する必要があります。

Q： AIの規制に関して、国際協力はどの程度重要ですか？

国際協力は極めて重要です。これは武器規制のようなもので、全員が同意してルールを遵守しないと、規制は効果を失います。AIはデュアルユース・テクノロジーであるため、有益な目的に使用することもできますが、有害となる可能性もあります。たとえば、個別化医療のために設計されたテクノロジーは、生物兵器や有害化合物の製造に使用することもできます。

しかしながら、有害な性質を持つ兵器とは異なり、AIは主に生産性の向上、医療の進歩、気候科学の改善など、善のために使用されます。用途が多様であるため、かなりのグレーゾーンが生じます。

イーロン・マスク氏らが提案したようなAI機能を制限する提案や、計算能力に基づいて大規模AIモデルの登録を義務付ける最近の米国大統領令は、この分野の課題を浮き彫りにしています。この規制は、興味深いことにコンピューティング能力によって定義されており、AIの可能性と規制の両方におけるスーパーコンピューティングの役割を強調しています。

規制が効果的であるためには、絶対に世界的な取り組みが必要です。1国や数か国だけが参加しても、それは機能しません。効果的なAI規制については、おそらく国際協力が最も重要です。