はてなブックマーク

生成AIとLLMは世界を理解する能力を持っています。Turingの自動運転アプローチはカメラ方式で、運転の判断機構を重視しています。人間の運転学習と同様のアプローチでAIを開発することが完全自動運転の実現に繋がります。大規模基盤モデルが現実世界を理解し、制御できるようになることで、レベル5の自動運転が実現するでしょう。 ChatGPT4によるこの文章の要約生成AIやLLMの本質は世界を理解していること生成AIやChat GPTに代表されるLLM(Large Language Model, 大規模言語モデル)は表面的にはお絵描きやチャットボットという印象を持つかもしれません。しかしこれらのAIの本質は世界を認知・理解している点です。だからこそ、これらのAIは素晴らしいアウトプットを出せるのです。Chat GPTとの対話は時に大きな示唆を提供してくれます。また、画像生成AI「Stable Di

「山本さんはPonanzaおじさんにはなりたくなかったんですね」 TURING共同創業者の青木さんにそう言われた時、ぎくりとしたが正直そのとおりだった。 スタートアップをはじめた最初の個人的理由はすべてそこに集約されていた。 2017年、私が作った将棋プログラムが名人を破った。10年間の結実がそこにはあった。そして魔王を倒した勇者の後日談が急速に物語性を失うように、人生の色合いの急速な消失を招いた。 それも悪くないと思ったが、しかし人生は長い。すべてを捧げたと思ったが、結局は私の身体は相変わらず元気よく動くし、頭だってまだ機能する。正直困った。 漫画の主人公たちは楽だよな、次から次に魔王が勝手に来てくれるから。現実世界の魔王不足は極めて深刻な問題だ。 Multiplanetary という単語を知ったのはそのあたりだった。人類をMultiplanetary species つまりは他惑星種族

前世紀であれば価値は、高速鉄道・道路・ダム・大規模工場など誰もが理解できる形で提供されていた。国家や銀行はこれらの価値にお金を安心して提供すればよかった。 そして21世紀、間違いなく世界の価値創造はソフトウェアに傾いている。例えばたった140文字のインターネット短文サイトがこれほど価値ある存在だと、しかし国会や銀行が推定するのは非常に難しい。 これらの金融の空白の入り込んだのがベンチャー投資家たち(以下VC)だ。彼らのスキームの大筋はこういったものだ。 ① VCは起業家から株(数%〜数10％)をもらい、その代わりお金を出資する ② 起業家は事業を育てることで会社を金融市場に上場する ③ VCは起業家からもらった株を金融市場に売却して莫大な利益を得る また上場時の従業員に対するインセンティブとしてストックオプションが発明されたのもの面白い。VC・経営者・従業員、関係者全員が上場に向けて努力で

Teslaは2003年創業。そしてそれから約20年、2022年現在のTeslaの時価総額は100兆円・年間生産台数は100万台となっている。重厚長大な自動車産業をゼロから立ち上げるのは到底無理だと多くの人に思われている中、どうやって彼らはスタートしたのだろうか？ Teslaの歴史をざっくりと私がまとめたもの。指数的に生産台数が上昇している。Teslaは最初は改造車をつくっていたTeslaは創業から5年ではじめてEVを市販した。名前を Roadster という。このクルマはTeslaが創業から5年もかけてゼロからEVを作った・・と思いきや実はそう単純ではない。ボディー自体は Lotus Elise をベースに作られている。もちろん Elise はエンジン車であり、Tesla がここからバッテリーを敷き詰め、モーターを換装して正規に販売まで漕ぎ着けるのは容易ではなかったことは追記しておきたい。

② この世界はゲームだ。 知能とは環境の中で自分がどういったアクションを取れば欲しい結果が得られる予想する機構である。運転を含む様々な問題を人間の脳は単一の機構で解決している。我々は将棋の領域で人間を上回る機構を作った。運転も類似した機構で達成可能と確信している。 — 山本一成🚙自動運転TURINGのCEO🌕 (@issei_y) November 20, 2021 知能とは予想する機能将棋も囲碁もテレビゲームもとても楽しいものだ。その楽しさの一端は自分の行動でより良い未来を獲得するというプロセスだ。私が将棋プログラムPonanzaを作っていた時も同じようなプロセス、強化学習で評価関数を学習させていた。評価関数は盤面を入力にその勝率を推定する関数だ。 しかし単純に評価関数を強化するというプロセスでは強さに限界がある。現在もっとも強いDeep Learning系の評価関数を使っても、それ

山本一成と青木俊介は一ヶ月ほど前にLv5完全自動運転車スタートアップを始めた。ありがたいことに早速インターンの人が数名入ってきたくれた。物事が進み始める強いチカラを感じている。 仕事をするなかで非常に重要なことに気がついた。それはあらゆる仕事には二種類あるということだ。①現在を扱う仕事と②未来を描く仕事だ。①の仕事は今ある枠組みを整理したり改善したりするものだ。これはとても大切なものであるがそれだけではスタートアップは前進しない。 ②未来を描くことが必要だ。Lv5完全自動運転車を作るために何が課題だろうか。ハンドルがない車を社会実装するのは単純に技術だけの問題ではないのは明らかだ。財務・法務などもクリエイティブな設計が求められるだろう。 技術面での課題はさらにチャレンジングだ。完全自動運転車が社会に受容されるために人間の10倍安全であるとする。そのために必要なe2e deep learni

将棋のルールは結構複雑で、普通に記述するとソースコード1000行くらいは必要になる。Deep Learningにどのように合法手(=ルール上可能な手)を教え込めばいいか悩んでいた。 そして結局、Ponanzaは特にルールを教えずに5億の局面と最善手(∈合法手)のペアをひたすら一致させるよう学習させた結果、ほぼ全ての場面で合法手を推薦するようになった。 コード規模1000行程度の複雑なルールを明示的に教えてなくても、学習データから勝手に学習することは当時の私にはあまりに衝撃的なことだった。 この世界のルールは複雑だ。将棋のように複雑ながらもexplicitにルールが表現されているものある。しかしルールが完全に明示されていないものもたくさんある。現実世界・ビデオゲーム内の物理法則、文法、そして交通ルール。 ------　↓ここから結構主観的な意見↓　------ 2008年の自動運転で(ほぼ)

Teslaは2021年8月19日にTesla AI Dayを銘打った大規模なプレゼンテーションをおこなった。自動運転というグランドチャレンジに対して、彼らはどういったビジョンを描いているのか、私が読み取れた範囲をみなさんと共有したい。 Vector Space Tesla AI チームが語る戦略は非常に野心的だ。 車周辺にある8台のカメラ画像から直接は物体認識や深度推定などの自動運転に必要なタスクを行わない。8台のカメラ画像を一度Vecotor Spaceという比較的低次元のベクトルに写像することを目指している。RegNet, BiFPN, Transformerなどここ数年で誕生した強力な新顔のNNを主体にこのVecotor Spaceは作成されている。 別々のカメラから車線予想をしてそれらを合成する(左下)より Vector Spaceから車線予想をしたほうが頑強でスムーズに(右下)

AI開発の勝利のパターン 名人を倒したプログラム こんにちはみなさん、これはTuringアドベントカレンダー2023、最終日の記事です。書いている人は山本一成といいます。今は完全自動運転EV量産を目指すTuring株式会社でCEOをやっていますが、以前は名人に勝利したコンピュータ将棋プログラム「Ponanza」というものを2008年から10年ほど開発していました。表題の「AI開発の勝利のパターン」がなにかを説明する前に、少しだけ将棋プログラムの話をさせてください。 当時のコンピュータ将棋の開発状況

大学生3年生の子に「私プログラミングの才能がないのでしょうか？」という質問をいただいた。色々考えさせられる質問だったのでnoteにも共有してみたいと思う。 彼女の学科では全員、ぷよぷよで対戦するプログラムを作っているらしい。彼女自身も頑張ったが、トップレベルの人たちにはとても勝てそうにないと感じているそうだ。果たして彼女は才能ないのだろうか？ 才能とはなんだろうか？ 3月と4月生まれの子は本質的は差がない。あるのは唯一学年が異なることだろう。4月生まれの子は小学一年生の時点ではかなりのアドバンテージを持っているのだ。その結果勝てるのでどんどん楽しくなる。これが才能なのだろうか？ぷよぷよで勝ち始めた子達はその時点で4月生まれになったのだ。彼女が才能がないんじゃないかと自分を疑っている間にも、どんどん4月生まれ達は上手くなっていくのだ。 4月生まれがどんどん走っていくので追いつけない？実際には

釣肅꿤뢋ꏣ膦臥붼解膮胨醉鋤릱韣膦蓣芍蛣肂볣芉賤몒蓣膫룦見껨ꢀ解芒蛨ꞣ꟣膍ꫣ膏ꫣ芋裣膆ꬠ賥覵雨ꢘ贱㇧ꮠㄭ㧧꾀文字化け、みなさんも一度は見たことがあるんじゃないでしょうか？これはコンピュータ上で文字を表示する方法がいくつもあり、どの方法で表示するのか、不明な時に起こるのです。人類の叡智の結晶であるコンピュータでなぜこういったバベルの塔みたいなことが起こっちゃったのでしょうか？ コンピュータは本当に数字しか扱うことができません。そこで数字からマッピングして文字を表現します。例えば数字の 97 はアルファベットの a に対応します。これを文字コードといいます。アルファベットや数字、@などの特殊記号は128種類以下、つまり1バイトまでに収まります。マッピングはうまくできました。めでたしめでたし・・ とはいきませんよね。世界は英語だけで完結しません。色

お部屋の片付けをする時に、ハサミをお風呂場に仕舞う人がいたらどうだろう。片付けの才能がないというしかないだろう。どう考えても危ないし、必要な時にハサミを取り出すのも明らかに不便だ。しかし驚くべきことにプログラミングの世界ではこういったことはよく起こっている。 オブジェクト指向という考え方がプログラミングの世界ではある。これは非常に色々な定義を含んでいるし、人によって考え方はまちまちだ。だが今回は私は思い切ってこう言ってしまおう。 オブジェクト指向の考え方はお風呂場にハサミを仕舞わないことだ。 プログラミングというは難しい作業だ。なぜ難しいかというコンピュータの世界の常識は、我々の世界の常識とは大きくかけ離れているからだ。それに加えてプログラミングの世界は基本的に可視化できない。プログラミング言語という極めて限定されたツールでコンピュータとコミュニケーションするしかないのだ。 こういった状況

Twitterのダイレクトメッセージで「将棋プログラムをどう作ればいいですか？」という質問をいただいた。色々考えさせられる質問だったのでnoteにも共有してみたいと思う。 Alpha Zeroのお話はこちらから読めます。私個人の予想としてはDeep Learningを駆使したプログラムが今後どんどん強くなると思っています。 職業柄、若い人達にしばしば、どうやって将棋プログラムを勉強すればいいですかと聞かれます。私の20代はすべて将棋プログラムに費やしてきたし、その過程はとてつもなく知的好奇心に満ちた素晴らしい旅路でした。ただ、すでに将棋プログラムは十分成熟した段階を迎えています。 時代の変化は確実にあります。以前、熱かった分野が今後も熱い分野になるとは限りません。将棋プログラミングも題材としては相変わらずとても面白いものですが、2018年現在では、多くの人にお勧めできる研究テーマとはなりに

Deep Learningは現在様々な領域・分野で使われようとしている。しかし、もっとも安定的かつ強力に使える領域は、2018年2月現在、画像処理に関することと言ってもいいだろう。 静止画像から何が写っているかを当てる一般物体認識問題では、既存手法の性能を大きく超えるどころか、人間の認識能力すらも超えている。通常の画像に限らず、将棋や囲碁といった問題、果てには言語処理といった本来は画像処理ではないと考えられていた問題ですら、現在は画像認識の問題に変換して Deep Leaningで解決し始めている。 突然なのだが、大学の授業や日々の業務でグラフを作成する人は多いだろう。我々が常日頃見ている画像、つまり眼に映る通常の映像、の縦軸と横軸は当然「距離」だ。ところがグラフを作る時の縦軸や横軸は金額や時間だったりと、もはや距離となんの関係もない。すでに完全に情報は揃っているのになぜ我々はグラフを作る

「Ponanzaってどれくらいの大きさのプログラム何ですか？」たまに聞かれる質問です。「私が一万行くらいです」と答えると、意外と小さいプログラムと思って、結構皆さんがっかり😞した顔をされたりするんですね。 確かにPonanzaよりも昔の時代の将棋プログラムはだいたい数万行を超えて居たようです。それが現代になるに従ってどんどん行数が減って来ています。なぜでしょうか？ 実はPonanzaのソースコードのどこを探しても将棋の囲いや戦法あるいは手筋の情報は見つけられません。せいぜい王手は注意した方がいいよみたいな極めて基礎的な情報しか書いてません。それではどうしてPonanzaは将棋がで合理的なプレイができるのでしょうか？それは将棋の知識はすべてPonanza自身が機械学習によって習得しているからです。そしてその機械学習の結果はすべて数値データとして500MBくらいのバイナリファイルに保存されて

青森県に講演に行った帰りに主催者さんのご好意で青森県立美術館に連れて行ってもらった。素晴らしい作品群だったのですが、私の個人的に一番だったポイントは美術館の様々な場所で使われている青森フォントと呼ばれる日本語フォントでした。この記事のヘッダーの写真で使われているフォントです。縦横と斜めの線だけで構築されていて非常に印象的なものでした。 プログラマの世界は必ずしもデザインに興味がある人が多いわけではないです。しかしどのプログラマにも必ず関係するデザインの問題があります。それはプログラムを書く時にどんなフォントを使うかということです。 実は大半のフォントは文字の幅が揃っていません。しかし嬉しいことに世の中には幅が揃っている等幅フォントというのがあるのです。ちなみに私の等幅フォントはconsolasです。consolasかわいいです。等幅フォントがプログラマにおすすめです。 さて話が変わって、下

問 コインを100回投げて、表か裏が10回連続で出る確率は？ 皆さんこの問題解けますでしょうか？私は正直解ける気がしません。そもそも何％くらいなのかすら、うまく推測できません。今日は、しかし皆さんには全然別の方法論を共有できればと思います。 その方法論とはずばり実際に投げてみましょう。「コインを100回投げて、表か裏が10回連続で出るかどうか」を100回あるいは1000回くらい試行してみたらそれなりに正しい確率が出ると思いませんか？実際にでます。 でもいくらなんでも現実にするのはつらいですよね。そこでせっかくなのでコンピュータに投げさせましょう。といっても実際に投げるのではなく、コンピュータの中で乱数（ランダム）を発生させて、それで投げていることにしましょう。プログラムで書くとこんな感じです。 コインを100回投げて、表か裏が10回連続で出るかどうか調べるプログラム。試行回数が増えるほどに

人生うまくいきません。突然どうしたのと思うかもしれませんが、人生なかなかうまくいかないですよね。なんでうまくいかないんでしょうか？ 人は沢山の才能を持っているというのが持論なんですが、なかなかその才能を発揮できないのが現状ですよね。どうしてかといえば、適切な場所、時、課題に出会えてないからなんだと思います。 なので、使命を発見するような探索行動をするのがよいのですが、日々の身銭を稼いだり、仕事や生活すると言った短期的な報酬をなかなか切り詰めることが困難です。これを探索と報酬(Exploration-Exploitation)のジレンマと言われています。この概念、人工知能の分野においても色々な場面で出てくる概念です。 私、山本の場合にこの概念を適応すれば、このままプログラムの知識をドンドン深めていくのか、それとも他の分野を開拓していく事がいいのかというのに対応します。いまnoteを書いてると