Sam の幼少期 → Loopt 創業(Stanford 時代の話や Paul Graham との出会い・YC 1期生時代の話)→ YC → OpenAI 創業・解任・復帰 の話がまとめられている
個人的な感想を一言で言うと「シリコンバレーの人脈ネットワーク・スケール,とんでもない」.月並みですが....
Sam 含めて,今AIスタートアップ界隈の有名人たちは全員過去のどこかで(それなりに)深い繋がりを持っている.何を今更,という感想だけど,「こことここも繋がっているのか」「こんな出会い方だったんだ」と個人的には驚きの連続だった.
Sam の私生活(恋人や家族)にもかなり踏み込んでいるし,Loopt や YC 時代の話に紙面もかなり割かれている.レビューを読むと「無駄な情報が多すぎる」的なことが書かれているが,個人的には YC や PG の話が元々好きだったし,Sam 自身にも興味があったのでかなり楽しめて読めた.
後半の OpenAI 創業前後の話や解任の舞台裏(Sam 視点,Ilya・Mira・OpenAI 理事会視点からの話)の臨場感がとんでもなかった.AI に携わる人間なら,前半を読み飛ばして OpenAI の話からだけでも読む価値があると思う.
このあたりの話が好きなら「創始者たち」も一読の価値あり
以下印象に残った話などなど
Loopt 時代
Sam の解任後に OpenAI の Interim CEO に指名された Emmett Shear は Sam と YC 同期(一期生).Twitch の人
Loopt 時代にも Sam に対して退任を求める騒ぎがあった(結局は取締役会に却下されたが)
Apple が iPhone 向けの SDK を公開する際に,Sam たちは early access をもらって iPhone 版の Loopt を作って Jobs に売り込んでいた.Jobs にプレゼンして気に入られ,SDK の公開に合わせた WWDC でのお披露目会で登壇する機会を得た.Jobs への事前プレゼンでの緊張感,半端なさそうだった.
https://www.youtube.com/watch?v=KhhId_WG7RA これはポロシャツの重ね着.印象に残るようにするためにあえての格好(多分).(自分も以前この動画を見たことがあったが,単にファッションセンスがなくてめちゃくちゃ変なポロシャツを着ているだけかと思っていた....笑)
DeepMind 創業(Sam の話ではないが)
創業者の Demis Hassbis と Shane Legg はUCLでのポスドク時代に出会ったらしい.その後2人は2010年のSingularity Summit @ SF で Peter Thiel と出会い,投資を漕ぎ着ける.
Thiel との繋がりで,DeepMind は Elon Musk からも投資を受けることになる
Thiel と Elon, OpenAI の話に噛んでるのは勿論知っていたが,DeepMind にも噛んでいたのは知らなかった
PayPal mafia....
これと同じノリで,「あの人も知り合いなのか」「あの人はあの会社に実は投資していたのか」がシリコンバレーではありすぎる
2014 年の Google の DeepMind 買収の1ヶ月後に Sam が書いたブログ: https://blog.samaltman.com/ai
この時から既に「AGI」と書いているのが驚き
OpenAI 創業
メンバー集め
Andrej Karpathy は Greg Brockman がAIの専門家ではないので参加を渋っていたが,John Schulman が口説き落とされたのを見て気持ちが傾いたらしい
Ilya は当時 Google にいて,OpenAI からの誘いを一旦断ったが,Elon の参画を聞いたのと Greg への尊敬心から参画を決めたらしい
Jeff Dean にもとんでもなく引き留められたらしい.すごい世界....
(Early) Scaling Law and GPT
当初 OpenAI はビデオゲームの Dota 2 のエージェントに取り組んでいた(DeepMind の AlphaGo に対抗するため).その開発時に,Jakub Pachocki が CPU のコアを増やすことに応じてエージェントの性能もぐんぐん伸びていくことを実験的に見つけた.
それと並行して Alec Radford は amazon review のデータセットを用いてし GPT のプロトタイプ版を訓練していた
attention is all you need の2ヶ月前
そこから,Radford は Transformer を使った実験に全ブッパ
Ilya が attention is all you need の重要性を見抜いた
ChatGPT リリース時の話 & Sam 解任の話はぜひ書籍で