2021年10月25日

Baiduの隠しストーリーAI技術の歴史的な転換

3月19日付けのニュース2013年3月、Googleは4400万ドルを費やしてトロント大学の創始会社DNNリサーチを買収しました。

この会社は当時は何の製品もないばかりか、製品を生産する計画もなかった。従業員は三人しかいませんでした。当時六十歳以上のトロント大学コンピュータ学部教授のGeofrey Huntonさんと彼の二人の学生Alex KrizhevskyさんとIIya Sutskeverさんです。Googleは数千万ドルを使って、いくつかの論文を買いました。

しかしその後の科学技術業界の発展はGoogleの目を証明しました。深度学習はエッジ学科から一躍顕学になりましたが、この学派の開祖師はGeofly Huntonです。深度学習における突出した貢献のため、彼は2018年にアトリエ賞を受賞した。HuntonはAIの領域の全局面を左右する人物になって、中国のインターネットも彼の“神を封じます”に慣れて、彼を“AIゴッドファーザー”、“深さの学習の父”などと呼びます。Googleはハイドンがあったので、AI技術が最も優れた会社の一つになりました。

しかし、この買収の詳細は外部にあまり知られていません。実際、Googleは最初に「Hunton」という会社ではなく、彼の深い学習における研究価値を最初に意識したのは、実は中国の会社であるBaiduである。

3月16日に発売された新刊書『Genius』。Makers:The MavericksWho Brought AI to Google,Facebook,and the World」(天才製作者:AIをGoogle,Facebook,全世界に連れて行く特筆者、以下「天才製作者」)の中で、「連続線」のベテランライターであるCade Metzが、これまで知られていない“秘史”を明らかにしました。この本はGoogle、Facebook、百度などの会社がAIで競い合うことを記録しています。なぜAIはアメリカとアメリカの間の新しい軍備競争になるのかを説明しようとしています。全書の冒頭は、この「今日のすべてのAI分野の物語の始まり」と形容される競売から始まった。

BaiduとHuntonは、合意に近いです。

Cade Metzは大量インタビューを通じて、2012年のHunton主導のオークションを再現しました。その年の12月、米ネバダ州国境の太浩湖のそばで、毎年一回のNIPSが開催されました。NIPSはNeural Information Processing Systems(神経情報処理システム)と全称し、AI分野のトップ会議です。

2012年のあの一回のNIPSはトロント大学の教授Huntonと彼の2人の学生にとって、意義はとりわけ異なっています。彼らは会議ホテルの部屋でオンラインオークションを開催しました。米科学技術大手のグーグルとマイクロソフト、中国の科学技術大手の百度とイギリスのAI創始社のDeepMindが、競売でハイドンが設立したばかりの、何の製品もない小さな会社DNNの調べを競いました。

これらの会社の中で、百度は実は一番早い接触会社です。

2012年秋、学生たちと一緒に9ページにわたる論文「ImageNet Class ification with Deep Covolutional Neural Networks」を発表しました。この論文で述べたAlexnetは、新たな深層構造とdropout方法を導入し、ImageNet画像認識大会では、エラー率を25%以上から15%に引き上げ、1位を獲得しました。

その年のImageNetの試合では、Googleもデータセットで内部テストをしました。深い学習方法も使いましたが、識別精度はHuntonチームよりだいぶ悪くなりました。Googleは多くのチームが及ばないハードウェアとデータ資源を持っていますが、学界のチームに負けています。これは工業界を驚かせて、深度学習の伝播を大いに促進しました。

このことは今日においてもAI技術の発展の歴史的な転換の時である。しかし、その意味を意識する人はまだほんのわずかだった。論文を発表してから数日もたたないうちに、Huntonは中国からの電子メールを受け取った。

このメールの発信者は百度です。この年、BaiduはGPU演算クラスターの大規模な調達を開始し、GPU&CPUをサポートする世界初の並列深さ学習プラットフォームを開発しました。10月、李彦宏は深度学習の進展を知り、Huntonを知りました。

当時、Huntonは今日ほど有名ではありませんでしたが、Baiduの意思決定はとても速く、李彦宏は当時Baiduの戦略投資を担当していた副社長のスープと松をHuntonと連絡を取り、直接に招待しました。Baiduの提案は、1200万ドルを入札して、Huntonと学生を雇って、契約期間は3年間です。双方の進展は速い。

しかし、合意に達する直前に、ハイドンの学生2人が「阻止」していたことがきっかけで、ハイドンは「三箇新人従業員」の募集よりも、百度や他の会社が買収のためにもっと大きな資金を払っている可能性があることを認識しました。

HuntonはBaiduに他の招待を評価してもいいですか?話が成立したBaiduに近づいていますが、同意しました。

百度の同意を得た後、Huntonは徹底的に局面を転覆しました。「天才製作者」の本に書いてあります。彼とその二人の学生だけが創始した会社、DNNEreearchがすぐに設立されました。

「天才製作者」の記録によると、トロントの弁護士に、どのようにして従業員3人だけで、製品がなく、ほとんど歴史のない初めての会社の価値を最大化することができますか?弁護士は彼に二つの選択を与えました。専門の交渉代表を招聘しますが、バイヤーを怒らせるリスクがあります。または、一回のオークションを行います。

Huntonは後者を選んで、4つの会社が競売に参加しました。最初にHuntonを見つけて、持ってきたBaiduに近づいています。また、Baiduの後もHuntonの家に頻繁に電話をかけ始めたGoogleとマイクロソフトと、創立2年前のロンドンの創始公司、Deepmindです。この会社はその後Googleに買収されて、有名なAlphaGoを開発しました。

最初にHuntonに接触した会社として、複数の米国企業との競争になることを見て、最終回を予感しました。

最高の入札をした百度は落札できませんでした。

Huntonと学生たちはホテルの部屋で競売会を開催しました。Gmailを通じて行われました。4社の幹部の長距離入札は、カリフォルニアからロンドンに行って北京に行きます。ハイドンは各競り人の身分を隠しています。彼らはお互いに相手が誰なのか分かりません。

マイクロソフトはまずこのようなオークションのやり方に疑問を持っています。Gmailで競売するのは嫌です。Googleはこっそりメールを読むかもしれないと思います。Huntonさんは学生たちと相談した後も、このような方式を採用しています。彼らは「GoogleがGmailを読めないと確信しています。」

HuntonのGoogleに対する好感はすでにとても明らかです。

Googleの深さ学習に対する興味は、ハイドンの影響を大きく受けている。2006年Huntonは論文「A fast learning algorithm for deep belief nets」を発表しました。この論文を発表する前に、深度神経ネットワークのトレーニング方法を知っている人はいません。本論文は,ネットワークの各階層に対して事前訓練を行い,その後微調整して,ネットワークの学習速度を大幅に向上させる深いネットワークを訓練する方法を提案した。

この論文は学習の深度を開く要因となり、Googleなどが学習の深さに気づき始めた。もう一つの重要な要素は計算力です。2009年、コンピュータの計算力は膨大なデータベースを掘り起こすのに十分に発達しました。神経ネットワークは言語と画像認識の面で、論理に基づく伝統的なコンピュータに勝り始めました。

グーグルもその時AIに投資し始めました。2010年、スタンフォード大教授だった呉恩達はGoogleで人気のある高級研究員Jeff Deanと共に、Project Mavinというプロジェクトを設立し、神経ネットワークを研究しています。その後、Googleエンジニアの中にはGoogle BrainをProject Mavinと呼ぶようになりました。

このプロジェクトの成果の一つは、大規模な深さ学習ソフトウェアプラットフォームDist Beliefである。Google検索、Google地図、YouTubeを含む50以上のチームが、Dist Beliefを利用して製品を改善しています。

2012年、Google Xは16000のコンピュータプロセッサを含む神経ネットワークを確立し、YouTubeに展開すると発表した。この神経網はYouTube上に猫が多く含まれている無表記の動画を学習することによって、猫という生物を識別した。

これは当時の重要な突破だった。訓練中に神経網について教えたことがありません。これは猫です。Jeff Deanさんは「猫の概念を基本的に発明した」と話しています。

Googleは今回のオークションでも必勝の勢いです。デザインのオークションルールは簡単です。毎回の入札の後、4つの会社は1時間で購入価格を少なくとも100万ドル引き上げます。この一時間は最新のオークションのメールのタイムスタンプから始まります。一時間で終わったら、新しい競売のオファーがなければ、競売は終わります。

ハイドンは毎日次のラウンドのために時間を設定します。指定された時間になります。彼と学生が彼の部屋に集まってノートパソコンの競売価格を見ています。数字が急に上昇し始めた。

DeepMindは現金ではなく会社の株で競売したので、すぐに終了しました。これはGoogleに買収された後の結果を暗示しているようです。価格が2000万ドルに急騰した時、マイクロソフトも撤退しました。しかし、それはまた戻ってきて、再び退出します。

実際には、マイクロソフトはこれまでにHuntonを顧問に迎えています。

マイクロソフトの深度学習に対する研究は、レイドモンド研究院によって展開されている。2009年11月から12月にかけて、当時、研究院で深度学習に関心を持っていた中国系科学者の鄧力さんは、ハイドンさんをレドモンド研究院に招待し、どのように深さ学習方法を音声特徴コードと音声認識問題に応用するかを研究しました。

これまでの音声認識モデルは、非常に悔しい「局所最適」状態であり、精度を大幅に向上させることは困難であった。2006年に発表された二つの創始的な論文を読んだ後、鄧力さんは深さ学習を音声認識に取り入れる考えを生み出しました。

マイクロソフトの問い合わせの間、彼は鄧力さんと共に、深い信念のネットワークの方法「レシピ」と音声特徴抽出の応用を開発しました。この方法は大規模な音声認識システムの誤り率を大幅に減少させ、2011年にマイクロソフトが発表したもので、業界は大いに驚嘆しています。

鄧力さんはマイクロソフトさんを代表してその競売で入札した人です。

上昇した金額を見て、彼の学生たちは彼らがどの会社に入社するかを論争しています。

「天才クリエーター」には「迷信」の会話が記されている。ある日の午後、彼らが窓の外を眺めている時に、飛行機が反対の方向から飛んでいって、空に残した煙道は巨大なXのようで、ちょうど山の峰の上にあります。彼らはこれが何を意味するのかを考えて、Googleの本部が山景城というところにあることを思い出しました。これはGoogleに加入すべきという意味ですか?と聞くと、「それとも私達はいけないですか?」

2200万ドル前後の間、ハイドンは一時的に競売を中止し、その中の一人と討論しました。30分後にマイクロソフトはまた撤退しました。

最後にはバイドゥとグーグルが残っています。時間が経つにつれて、両社は依然として価格を高めています。しかし、価格が2400万ドルに達すると、Baiduの幹部は北京から引き継ぎ、さらに高い価格を提供したいです。2500万ドル、3000万ドル、3500万ドルです。

ハイドンは入札窓口を一時間から30分に短縮します。入札価格は4000万ドル、4100万ドル、4200万ドル、4300万ドルに急騰しました。私たちが映画を撮っているような感じです。彼は言った。ある夜、真夜中近くに4400万ドルに達した時、彼はまた競売を中止しました。「天才製作者」にはこう記されている。

翌日、落札再開の約30分前に、Huntonからメールがありました。開始時間が遅れるということです。約一時間後、彼はもう一通を出しました。オークションが終わりました。

実は、前日の夜のある時、彼の会社をGoogleに売ることにしました。彼はBaiduに宛てたメールによると、会社から送られた他の情報はいずれも彼の新しい雇用者に転送されますが、彼は誰だと言っていません。

「天才製作者」によると、Huntonは後に認めた。彼にとって、彼の研究のために適切な落ち着き先を見つけたのは、最高の入札価格を獲得するよりも重要です。

「天才製作者」も、Huntonは最終的にGoogleか、または少なくとも別の米国企業で働くと推測していると書いています。彼は背中が悪いので、中国に行くことができません。彼は10代の時に背中の傷を受けました。50代になったら、もう座れなくなりました。でないと、椎間板が滑り落ちる危険があります。彼はずっと立って仕事をしなければならなくて、遠出しても飛行機に乗りません。飛行機が離陸する時、立ってはいけないからです。

米国のライバルを極限まで追い詰めることで、Baiduのトップは今後数年間の学習の重要性を認識していると書いている。

「オークションはスタートガンのようです」。この競売を「世界の新たな軍備競争の始まり」と定めたと、『天才製作者』の著書にある。その競りが終わってから、新しい競争が始まりました。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です