テキスト生成アルゴリズム GPT-2 が 2019 年に作成されたとき、それは最も「危険な「A.I. 歴史上のアルゴリズム。 実際、これは非常に危険なので、「ロボット黙示録」 もちろん、そんなことは決して起こりませんでした。 GPT-2 は最終的に一般に公開され、世界を破壊しなかった後、その作成者は次のことに移りました。 しかし、これまでに作成された最も危険なアルゴリズムをどのように追跡するのでしょうか?
コンテンツ
- テープの物語
- サイズが重要
- チューリングテストに合格しますか？
少なくとも理論上では、答えは簡単です。成功した映画の続編と同じように、より大きく、より悪質で、より高価なものを作ることになります。 最初のゼノモーフは 1 つだけ エイリアン? 続編にはそれらの巣全体が含まれます。 エイリアン. 未来から送り返された、ほぼ破壊不可能な一台の機械 ターミネーター? 観客に 2 つの問題に取り組んでもらいます ターミネーター 2: 審判の日.
AIについても同様です。 - この場合、 GPT-3、最近リリースされた自然言語処理ニューラル ネットワークは、かつて (でももうだめ）スペースXとテスラCEOのイーロン・マスクが後援。
おすすめ動画
GPT-3 は、テキスト生成ニューラル ネットワーク シリーズの最新のものです。 GPT という名前は Generative Pretrained Transformer の略で、2017 年の トランスフォーマーと呼ばれる Google のイノベーション これにより、特定の単語が周囲の単語とともに出現する可能性がわかります。 ニュース記事の冒頭など、GPT の事前トレーニング済み言語モデルなどのいくつかの文を入力 捏造された公式を含む、説得力のある正確な継続を生成できます。 引用。
このため、次のような虚偽のテキストを生成することによって、それ自体が危険であることが判明する可能性があると懸念する人もいました。 ディープフェイク、 できた フェイクニュースをオンラインで広めるのに協力する. GPT-3 では、これまでよりも大きく、よりスマートになりました。
テープの物語
GPT-3 は、ボクシング スタイルの「テープの物語」と比較すれば明らかなように、本物のヘビー級のブルーザーです。 OpenAI のオリジナルの 2018 GPT には 1 億 1,000 万個のパラメーターがあり、ニューラル ネットワークの学習を可能にする接続の重みを指します。 2019 年の GPT-2 は、悪意のあるアプリケーションの可能性について以前の大騒動を引き起こしましたが、15 億のパラメータを持っていました。
先月, Microsoft は、170 億のパラメーターを誇る、当時世界最大の同様の事前トレーニング済み言語モデルを導入しました。 それに比べて、2020 年の怪物 GPT-3 は驚くべき性能を持っています。 1,750億 パラメーター。 訓練には約1200万ドルかかったと伝えられている。「これらのモデルの力は、次の単語をうまく予測するために、最終的に非常に強力な世界を学習することになることです。 あらゆる種類の興味深いことに使用できるモデルです」と、Latitude スタジオの最高技術責任者である Nick Walton 氏は述べています。 後ろに A.I. ダンジョン、GPT-2を利用したAI生成のテキストアドベンチャーゲームであるとDigital Trendsに語った。 「モデルが事前トレーニングで学習した知識を維持しながら、基本モデルを微調整して特定の方向に世代を形成することもできます。」
現実世界で GPT-3 を実際に使用するには計算リソースが必要となるため、非常に非現実的になります。
グウェン・ブランウェン心理学、統計、テクノロジーについて執筆しているコメンテーター兼研究者は、デジタルトレンドに次のように語った。 GPT が表す事前トレーニング済み言語モデルは、「あらゆる機械学習タスクにおいてますます重要な部分となっている」 テキスト上で。 多くの画像関連タスクが「標準的な提案」になったのと同じように、 [畳み込みニューラル ネットワーク] により、多くの言語関連タスクは「微調整された [言語を使用する」ようになりました。 モデル。'"
OpenAI (この記事ではコメントを拒否しました) は、自然言語処理で素晴らしい研究を行っている唯一の企業ではありません。 前述したように、Microsoft は独自の素晴らしい取り組みを行っています。 フェイスブック一方、 はテクノロジーに多額の投資を行っており、次のような画期的な成果を生み出しています。 ブレンダーボット、史上最大のオープンソース、オープンドメインのチャットボットです。 人間の評価者によると、エンゲージメントの点で他のものよりも優れており、より人間的であると感じられます。 過去数年間にコンピュータを使用したことがある人なら誰でも知っているように、マシンはこれまで以上に人間を理解する能力が高まっています。その理由は自然言語処理です。
サイズが重要
しかし、OpenAI の GPT-3 は、その記録破りの規模において依然として単独で存在しています。「GPT-3 が話題を呼んでいるのは主にそのサイズのためです」と、OpenAI の研究エンジニア、ジョー デイヴィソン氏は述べています。 ハグフェイスは、オープンソースツールの開発と基礎研究の実施によって自然言語処理の進歩に取り組んでいるスタートアップ企業であるとDigital Trendsに語った。
大きな問題は、これが何に使われるのかということだ。 GPT-2 は、さまざまなテキスト生成システムに採用され、無数に用途が広がりました。
デービソン氏は、GPT-3はそのサイズによって制限される可能性があると若干の警戒を表明した。 「OpenAIのチームは間違いなく、これらのモデルをどれだけ大きくできるかという限界を押し広げ、モデルを成長させることで将来的にはタスク固有のデータへの依存度が軽減されることを示しました」と同氏は述べた。 「しかし、現実世界で GPT-3 を実際に使用するには計算リソースが必要なので、非常に非現実的です。 したがって、この研究は確かに興味深く、洞察力に富んでいますが、この分野にとって大きな前進とは言えません。」
ただし、これに同意しない人もいます。 「[internal-link post_id="NN"]人工知能[/internal-link] コミュニティは、ますます大規模なモデルとより多くのデータを組み合わせることを長年観察してきました。 計算能力をスケーリングするムーアの法則とよく似ており、これらのモデルの能力はほぼ予測通りに向上します。」 研究者 誰が YouTube チャンネルを運営していますとデジタルトレンドに語った。 「しかし、ムーアの法則と同様に、言語モデルを単純にスケーリングするだけで言語モデルを改善できる限界に達していると多くの人が推測しています。 より高いパフォーマンスを得るには、新しいアーキテクチャやトレーニングに関して大幅な発明を行う必要があります。 メソッド。 GPT-3 は、これが真実ではないことを示しており、単純にスケールによってパフォーマンスを向上させる能力は途切れることがないように見えますが、実際には終わりが見えません。」
チューリングテストに合格しますか？
ブランウェン氏は、GPT-3 のようなツールが大きな破壊力となる可能性があると示唆しています。 「それを考える 1 つの方法は、テキストの一部を取得し、それを変換し、別のテキストを出力することがどのような仕事に含まれるかということです。」 ブランウェンは言った。 「医療コーディング、請求、受付、カスタマーサポートなど、この言葉で説明されるあらゆる仕事は、GPT-3 を微調整し、その人物を置き換えるのに適した対象となるでしょう。 非常に多くの仕事は、多かれ少なかれ「あるスプレッドシートまたは PDF から別のスプレッドシートまたは PDF にフィールドをコピーする」ものであり、その種のオフィス オートメーションは、あまりにも混沌としていて、 通常のプログラムを簡単に作成して置き換えることができますが、GPT-3 はすべての例外とさまざまな規則を学習し、人間のプログラムと同じように実行できるため、GPT-3 に対して脆弱になります。 するだろう」
結局のところ、自然言語処理は AI の一部にすぎないかもしれませんが、この分野の他の分野ではほとんど行われていない方法で、間違いなく人工知能の夢の核心に切り込みます。 の 有名なチューリングテスト、この分野にきっかけを与えた独創的な議論の 1 つは、自然言語処理の問題です。「AI を構築できますか?」 説得力を持って人になりすますことができるでしょうか？ OpenAI の最新の取り組みは、この目標を確実に前進させます。 あとは、研究者がそれをどのような応用例を見つけるかが注目されるところだ。
「GPT-2テキストが人間にとって非常に簡単に通用するため、それを『ただのパターン認識』や『ただの暗記』として片付けるのが難しくなっているという事実があると思います」とブランウェン氏は語った。 「ディープラーニングが行うことはインテリジェンスのようなものではないと確信していた人は、それがどこまで到達したかを知るために、その信念を揺さぶられたに違いありません。」
編集者のおすすめ
- トップクラスの著者がAI企業に作品の使用料を要求
- ChatGPTメーカーのOpenAIは消費者保護法を巡りFTCの捜査に直面している
- OpenAI、超インテリジェント AI の暴走を阻止するための新しいチームを構築
- ChatGPT 作成者はチャットボットの「幻覚」を排除しようとしている
- OpenAI の新しい ChatGPT アプリは iPhone と iPad で無料です
