GPT-3 がどのようにして静かに AI の世界を先導しているのか 革命

何に良いのですか？ 絶対にすべて

最近、フランシス・ジャービスというスタートアップの創設者は、 オーグレンテッドは GPT-3 を使用して、家賃に困っている人々が家賃の割引交渉の手紙を書くのを支援しました。 「ここでのユースケースを『スタイル転送』と表現します」とジャービス氏はデジタルトレンドに語った。 「完璧な英語である必要さえない箇条書きを[取り込み]、フォーマルな言語で2～3文を[出力]します。」

この超強力な言語モデルを活用したジャービスのツールを使用すると、賃貸人は自分の状況と割引和解が必要な理由を説明できます。 「収入を失った理由についていくつかの単語を入力するだけで、数秒以内に、手紙に追加する説得力のあるフォーマルな段落の提案が表示されます」と同社は主張している。

これは氷山の一角にすぎません。 いつ アディティア・ジョシ機械学習科学者で元アマゾン ウェブ サービス エンジニアである彼は、最初に GPT-3 に出会い、見たものに非常に衝撃を受け、Web サイトを立ち上げました。 www.gpt3examples.com、最高のものを追跡します。

「OpenAIがAPIを発表した直後、開発者たちはGPT-3を使って構築されたアプリケーションの印象的なデモをツイートし始めた」と同氏はDigital Trendsに語った。 「彼らは驚くほど上手かった。 私が [私のウェブサイト] を構築したのは、コミュニティがこれらの例を見つけやすく、GPT-3 を使用して独自の領域の問題を解決する創造的な方法を発見できるようにするためです。」

GPT-3 を使用した完全にインタラクティブな合成ペルソナと https://t.co/ZPdnEqR0Hn 🎇

彼らは、自分が誰であるか、どこで働いていたか、上司が誰であるかなどを知っています。 これはあなたのお父さんのボットではありません… pic.twitter.com/kt4AtgYHZL

— タイラー・ラストビッチ (@tylerlastovich) 2020年8月18日

Joshi は、彼に大きな影響を与えたいくつかのデモを挙げます。 一つ、 レイアウトジェネレーター、単純なテキストの説明から JavaScript コードを生成することにより、機能的なレイアウトをレンダリングします。 スイカの形をした「購読」というボタンが欲しいですか? 虹色の一連のボタンを備えたバナー テキストはいかがですか? 基本的なテキストで説明するだけで、Sharif Shameem のレイアウト ジェネレーターがコードを作成します。 もう一つ、 GPT-3ベースの検索エンジン Paras Chopra によって作成されたこのツールは、書かれたあらゆる質問を回答と、詳細情報を提供するための URL リンクに変換できます。 もう一つは、マイケル・テフラによるフランシス・ジャーヴィスの逆バージョンです。 法的文書を翻訳します わかりやすい英語に。 さらにもう一つ、ラファエル・ミリエールによると、 哲学的なエッセイを書いています. そしてもう 1 人、Gwern Branwen 氏によると、 創造的なフィクションを生み出す.

「言語の翻訳や生成からテキストの要約やエンティティの抽出に至るまで、単一の言語モデルがこれほど多様なタスクでこれほどうまく機能するとは思いませんでした」と Joshi 氏は言います。 "で 私自身の実験の一つ、GPT-3 を使用して化学燃焼反応を予測しましたが、驚くほどうまくいきました。」

それがどこから来たのかもっと詳しく

GPT-3 の革新的な用途はこれで終わりではありません。 コンピュータ科学者 タイラー・ラストビッチ GPT-3を使用して 偽の人を作るバックストーリーを含め、テキスト経由でやり取りできるようになります。 一方、アンドリュー・メインは、GPT-3 が可能であることを示しました。 映画のタイトルを絵文字に変換するために使用されます. ニック・ウォルトン、GPT 生成のテキスト アドベンチャー ゲームを開発したスタジオ、Latitude の最高技術責任者 AIダンジョン 最近同じことをして、回転するかどうかを確認しました 長い文字列のテキスト説明を絵文字に変換. そして、GPT-3 を使用してコピーライティング ツールを構築するスタートアップである Copy.ai は、このモデルを最大限に活用し、毎月の 経常収益 67,000 ドル 3月現在、最近では290万ドルの資金調達ラウンドが行われています。

「人々が GPT-3 を使用した創造性という点では、間違いなく驚きと大きな畏敬の念がありました。」 サンディニ・アガルワル、A.I. OpenAIの政策研究者はDigital Trendsに語った。 「非常に多くのユースケースが非常に創造的であり、私ですら予想していなかった領域で、多くの知識が得られます。 それは興味深いですね。 しかし、そうは言っても、GPT-3、そして OpenAI が追求したこの研究の方向性全体は、これによって AI が得られるという期待を大いに持っていました。 より汎用性を高めたモデル。 汎用AIの要点 モデルは、これらすべての異なる AI を実行できる 1 つのモデルです。 タスク。」

プロジェクトの多くは、GPT-3 の大きな付加価値の 1 つである、トレーニングが必要ないことを強調しています。 機械学習は、過去数十年にわたってあらゆる面で変革をもたらしてきました。 しかし、機械学習が正しい答えを出力できるようにするには、多数のトレーニング サンプルが必要です。 一方、GPT-3 には「少数のショット能力」があり、ほんの一握りの例だけで何かを行う方法を教えることができます。

もっともらしいブル***

GPT-3は非常に印象的です。 しかし、それは課題ももたらします。 これらの一部はコストに関連しています。GPT-3 の魔法の恩恵を受ける可能性があるチャットボットのような大容量サービスの場合、このツールは高価すぎて使用できない可能性があります。 (メッセージ 1 通あたりの費用は 6 セントになる可能性があり、厳密には大金になるわけではありませんが、合計すると確実に高額になります。)

また、その広範な利用可能性に関するものもあります。つまり、熾烈な競争によって利益率が低下する可能性が高いため、この製品だけを中心にスタートアップを構築するのは困難になる可能性が高いことを意味します。

もう1つは記憶力の欠如です。 そのコンテキスト ウィンドウは、映画のガイ ピアースのキャラクターのように、以前は一度に 2,000 語弱を実行していました。 メメント、その記憶はリセットされます。 「これにより、生成できるテキストの長さが大幅に制限され、リクエストごとにおおよそ短い段落に制限されます」と Lastovich 氏は述べています。 「実際的に言えば、これは、最初に何が起こったかを記憶したまま長い文書を生成することができないことを意味します。」

しかし、おそらく最も注目すべき課題は、その最大の強みである作話能力にも関係しています。 作話とは、記憶障害のある一部の人々がどのように物事を解決できるかを説明するために医師が頻繁に使用する用語です。 一見説得力があるように見えても、詳しく調べてみると必ずしも精査に耐えられるとは限らない情報をでっち上げる 検査。 GPT-3 の作話能力は、状況に応じて長所にも短所にもなります。 クリエイティブなプロジェクトの場合は、真実のようなありふれたことを気にせずにテーマをリフできるので、素晴らしい場合があります。 他のプロジェクトの場合は、さらに複雑になる可能性があります。

オーグレンテッドのフランシス・ジャービスは、GPT-3 の「もっともらしいでたらめを生成する」能力について言及しています。 ニック・ウォルトン AIダンジョン 「GPT-3 は、まるで人間が書いたかのような創造的なテキストを書くのが非常に得意です…その 1 つは、 ただし、弱点は、たとえ質問に対する答えがまったく分からなくても、非常に自信があるように書くことができることです。 質問です。」

中国人の部屋に戻る

この点で、GPT-3 は私たちをジョン・サールの中華部屋というおなじみの領域に戻します。 1980年、哲学者のサールは次のような著書を出版した。 最も有名な AI の 1 つ 思考実験では「理解」というテーマに焦点を当てました。 「中国語の部屋」では、理解できない言語で書かれた大量の文書が置かれた部屋に閉じ込められている人を想像してください。 彼らが認識するのは抽象的な記号だけです。 この部屋には、あるシンボルのセットが別のシンボルのセットにどのように対応するかを示す一連のルールも含まれています。 答える必要がある一連の質問が与えられた場合、部屋の居住者は質問記号と回答記号を一致させる必要があります。 このタスクを何度も繰り返すと、彼らはそれを実行することに熟達します。たとえどちらの記号のセットが何を意味するのか全く理解していなくても、ただ一方がもう一方に対応しているということだけがわかります。

GPT-3 は、言語学的な AI とはまったく別の世界です。 それはサールが執筆していたときに存在していました。 しかし、理解の問題は相変わらず厄介です。

「ご存知かと思いますが、これは非常に物議を醸す質問の分野です。異なる点が非常に多いためです。 一般に、言語モデルが[真の]理解を持つことができるかどうかについての意見がある」とOpenAIのサンディニ氏は述べた アガルワル。 「現時点で GPT-3 について尋ねると、非常に優れたパフォーマンスを発揮する場合もありますが、あまりパフォーマンスが良くない場合もあります。 出力がどれほど有意義に見えるかについては、ある意味でランダム性があります。 出力に驚かされることもあれば、単なる無意味な出力になることもあります。 それを踏まえると、現時点での私の意見では… GPT-3 は理解できていないようです。」

今日のチャイニーズ・ルームの実験にさらにひねりを加えたのは、GPT-3 が少人数の研究者チームによってすべての段階でプログラムされているわけではないということです。 これは、インターネットで構成される巨大なデータセットでトレーニングされた大規模なモデルです。 これは、オンラインで見つかったテキストにエンコードされている可能性のある推論やバイアスを検出できることを意味します。 あなたは、自分の周りにいる 5 人の人の平均であるという表現を聞いたことがありますか? GPT-3 は、書籍、Wikipedia、その他の記事など、複数のソースからのほぼ計り知れない量のテキスト データを使用してトレーニングされました。 これから、トレーニング データを精査して以前に使用された単語の組み合わせを確認することで、任意のシーケンス内の次の単語を予測する方法を学習します。 これにより、予期せぬ結果が生じる可能性があります。

確率論的なオウムに餌をやる

大規模な言語モデルに関するこの課題は、ある論文で最初に強調されました。 画期的な紙 いわゆる確率論的なオウムのテーマについて。 確率論的なオウム — 著者らによって造られた用語で、その中には Google の倫理的 AI の元共同責任者も含まれていました。 チーム、Timnit Gebru — 大規模な言語モデルを指します。 「膨大な訓練データの中で観察した言語形式のシーケンスを、それらがどのように結合するかについての確率的情報に従って無作為に[つなぎ合わせ]ますが、何の参照もありません」 意味へ。」

「インターネットの大部分で訓練を受けてきたので、インターネットには多少の偏見が含まれていることを認識することが重要です。」 アルバート・ゴッツィ、別のGPT-3ユーザーはDigital Trendsに語った。 「OpenAI チームがさまざまな方法でこの問題を軽減するために懸命に取り組んでいることは知っていますが、これは今後しばらく問題になると予想しています。」

偏見を防ぐための OpenAI の対策には、特定の言語やトピックを除外する毒性フィルターが含まれています。 OpenAI はまた、どの領域に入ってはいけないかを指定できるように、人間のフィードバックを統合する方法にも取り組んでいます。 さらに、チームはツールへのアクセスを制御し、ツールの特定の否定的な使用にはアクセスが許可されないようにします。

「おそらく、こうした悪意のあるユーザーをあまり見かけなかった理由の 1 つは、当社が社内で集中的なレビュー プロセスを行っているためです」とアガルワル氏は述べています。 「私たちの仕事のやり方は、実際に展開される製品で GPT-3 を使用したいときは常に、 チーム (人間のチームなど) が実際にどのように使用したいかをレビューするプロセスを経る必要があります。 それ。 …その後、悪意のあるものではないことを確認した上で、アクセスが許可されます。」

ただし、これには困難な点もあります。特に、特定の言葉を使用する場合に偏見が常に明確に存在するとは限らないためです。 ジャーヴィスは、彼の GPT-3 レントメッセージは「固定的な性別や階級に向かう傾向がある」と指摘しています。 仮定。」 放置しておくと、家族に基づいて家賃の手紙に対象者の性別が記載される可能性があります 役割とか仕事とか。 これは、AI の最も悲惨な例ではないかもしれません。 偏見がありますが、大量のデータが取り込まれ、言語モデルで確率的に再構築されたときに何が起こるかを強調しています。

「バイアスと明示的なリターンの可能性は絶対に存在し、それを回避するには開発者の努力が必要です」とタイラー・ラストビッチ氏は述べた。 「OpenAI は有害な可能性のある結果にフラグを立てますが、最終的には顧客がモデルを実稼働環境に導入する前によく考えなければならない責任を追加します。 開発が特に困難なエッジケースは、モデルには真実か虚偽の情報の概念がないため、モデルが嘘をつく傾向があることです。」

言語モデルと AI の将来

デビューから 9 か月後、GPT-3 はゲームチェンジャーとしての期待に応えています。 かつては純粋に潜在的であったものが、潜在的に実現されることが明らかになりました。 GPT-3 の興味深いユースケースの数は、テキスト生成 AI がどのように機能するかを浮き彫りにしています。 この説明が示唆するよりもはるかに多用途です。

それは最近の新参者というわけではありません。 今年の初めに、GPT-3 が最大の言語モデルとして追い越されました。 Google Brainが新しい言語モデルをデビューさせた 約 1 兆 6,000 億のパラメータを含むこれは、OpenAI が提供するサービスの 9 倍の規模になります。 また、これが言語モデルの道の終わりになる可能性も高くありません。 これらは非常に強力なツールであり、良くも悪くも社会に変革をもたらす可能性を秘めています。

これらのテクノロジーには確かに課題が存在しており、OpenAI のような企業や独立研究者などが引き続き対処しなければならない課題です。 しかし、全体として考えると、言語モデルが人工知能研究の最も興味深く重要なフロンティアの 1 つになっていないと主張するのは困難です。

テキスト ジェネレーターがこれほど重要になるとは誰が想像したでしょうか? 人工知能の未来へようこそ。

編集者のおすすめ

• アナログAI？ クレイジーに聞こえるかもしれないが、それは未来かもしれない
• 不気味に美しい AI の「合成聖典」を読んでください。 それは神だと思っている
• アルゴリズム アーキテクチャ: AI を使用させるべきか 私たちのために建物を設計してくれるでしょうか？
• バイトを持つ女性たち: AI を使って「人間の厄介な問題」を解決するヴィヴィアン・ミンの計画
• ロボットにかくれんぼを教えることが次世代 AI の鍵となる理由