4.2 並列計算と膨大な記憶

スーパーコンピューターが異次元の計算力を発揮できる最大の秘密は、「並列計算(へいれつけいさん)」という仕組みにあります。

どれほど膨大な計算であっても、1個の頭脳で順番に解いていったのでは時間がかかりすぎます。それなら、「数万個の頭脳(プロセッサ)に計算を細かくバラバラに分担させ、全員でいっせいに、同時に解けばいい」という、極めて直感的かつ大胆な力技が、並列計算の本質です。

「1冊の辞書を100人で手分けして写す」という発想

並列計算の仕組みを理解するために、ひとつの例え話をしてみましょう。

ここに「10万ページの巨大な古文書を、すべて手書きでノートに書き写す」という途方もない任務があるとします。

もし、1人の天才的なスピードを持つ書記(普通のパソコン)が頭から順番に写していったとしたら、どんなに頑張っても数ヶ月、あるいは数年はかかってしまうでしょう。

しかし、ここに1万人の一般的な書記(スパコンの並列プロセッサ)を集めたらどうでしょうか。

古文書を10ページずつ細かくバラバラに破いて全員に配り、「全員いっせいに、同時に書き写してください!」と指示を出すのです。1人が担当するのはわずか10ページですから、作業はものの数十分で終わります。最後にそれぞれのノートを集めて一冊にまとめれば、任務完了です。

これが並列計算のパワーです。スーパーコンピューターの内部では、押し寄せる膨大な0と1の計算データを、数万〜数百万個の「コア(頭脳)」へと一瞬で分配し、同時に同時進行で処理させているのです。

並列計算を支える「膨大な記憶」と「超高速の連絡網」

この並列計算を完璧に成り立たせるためには、頭脳の数に見合うだけの「膨大な記憶装置」と、頭脳同士をつなぐ「超高速の連絡網(帯域)」が絶対に欠かせません。

先ほどの写本の例でいえば、1万人の書記が座るための「広大な作業机(大容量メモリ)」が必要ですし、作業中に「私の担当のページと、あなたの担当のページのつながりがおかしいぞ」となったときに、一瞬で情報をやり取りできる「連絡網」がなければ、全体の作業はたちまち大混乱(ボトルネック)に陥ってしまいます。

スパコンの内部では、数万台のプロセッサが、一般的なインターネット回線よりも数千倍も太く、遅延の少ない特別な光ファイバー網などで数珠つなぎにされています。

全員が同じ記憶の巨大なプール(共有メモリや超高速ストレージ)に一瞬でアクセスし、お互いの計算結果をミリ秒以下の単位で確認し合いながら、まるで一つの巨大な生き物のように完璧に足並みを揃えて計算を進めているのです。

AIへのつながり:AIの「学習」は並列計算そのもの

現代のAI、とりわけChatGPTなどの大規模言語モデル(LLM)を生み出すための「AIの学習」というプロセスは、まさにこの並列計算の仕組みなしには1歩も前に進みません。

AIに地球上のすべてのウェブサイトや何百万冊もの書籍のテキストを読ませて「言葉のパターン」を覚えさせるには、宇宙的な規模の計算が必要です。

最新のAI開発では、この並列計算の仕組みを使って、数万台のプロセッサにデータを小分けにして配り、「この文章の次に来る言葉の確率を、みんなで手分けして計算してくれ!」と昼夜を問わず同時に計算させています。

数万個の頭脳が、膨大な記憶を共有しながら一糸乱れぬチームワークで動く。この並列計算の仕組みこそが、人間の知能の壁を突破しようとするAIの、最も強力なエンジンとなっているのです。

 の目次へ