YouTubeで学べる自然言語処理〜BERTを中心に〜

 BERTを中心にした、YouTubeの自然言語処理の解説ビデオのまとめです。

BERT


他にもあるor出てくると思いますが、とりあえずざっと調べて見つけたものをまとめました。Udemyでフルコースを出されている方もおられるようです。MeCabの使い方のYouTubeビデオやWord2Vecのもの、GPT-2、GPT-3など色々他にも興味深いものがたくさんあったので、今度ご紹介します。

コメント

コメントを投稿

このブログの人気の投稿

王の名は。Pharaoh’s name — ラメセスは当時なんと発音されていたか？

イメージ
王の名は。Pharaoh’s name — ラメセスは当時なんと発音されていたか？ 図１：ラメセス２世の胸像（大英博物館蔵）　Pbuergler -CC BY-SA 3.0 メリークリスマス！ADVENTERの2023年アドベントカレンダー「 言語學なるひと〴〵 」で12月25日担当になりました。しかし、現在エジプトで調査中で、詳しくはここで書けませんが、色々予期せぬ（ポジティブな意味で）事態に対処するため右往左往していて、日本時間の25日に間に合いませんでした・・・。 それでもなんとかエジプト時間の25日に間に合わせました。 ADVENTERでは、歴史的仮名遣い、キリシタン資料でのポルトガル式ローマ字表記で書こうとしていましたが、時間的に難しかったです・・・大変申し訳ありません。また調査の合間に悪路に揺られる車の中で、大変疲弊した状態で書いているので、誤記や誤植がないか心配です。もしタイポなどがありましたら、筆者まで直接お知らせください。よろしくお願いいたします。 今、この記事を書いているエジプト・ルクソールでは至る所にサンタのステッカーが見られますが、エジプトでもかなり12月25日のクリスマスが祝われるようになってきていると感じています。 しかしながら、エジプトの人口の1割を占める、エジプトに根付いたキリスト教の一派であるコプト正教会では、クリスマスは、1月7日に祝われます。もっと詳しくいうと、1月6日の日没から、1月7日の日没にかけてですが、これはなぜかというと、コプト正教会は、ユリウス暦という古い暦を使っているからです。現在私たちは、グレゴリオ暦という比較的新しい暦を使っています。 グレゴリオ暦を制定したのは、ローマ教皇グレゴリウス13世で、これは1582年のことでした。これに対して、ユリウス暦は、紀元前45年にユリウス・カエサルが制定したローマ帝国の暦です。キリストが磔刑に処されたのが紀元後30年頃ですので、このユリウス暦が制定された後、75年程度でキリスト教が成立したことになります。 そして、このユリウス暦での12月25日は、グレゴリオ暦の1月7日になります。このユリウス暦でクリスマスを祝っているのは、コプト正教会だけでなく、非カルケドン派では、エチオピア正教会、エリトリア正教会、アルメニア使徒教会、シリア正教会があり、カルケドン派（ギリシア正教）では、
続きを読む

LaTeX Beamerでおしゃれなスライドが作れるカスタムBeamer Theme

イメージ
写真は HamaluikによるBeamer Theme    このQiitaのページの一覧が非常に参考になった。　 https://qiita.com/htlsne/items/70cbb488e7a87cd9e228 でも、やっぱり学会で使うには、落ち着いたデザインがいいかな。デフォルトで入っているBeamer Themeなら、BerlinやSingapore、ほかの人が配布しているものなら Metropolis が気に入っている。 写真はOverLeafにあるMetropolisの サンプルPDF から
続きを読む

深層学習と言語モデルについて　Google Colaboratory

イメージ
 今日は、詳しくは企業秘密なので言えませんが、Googleのとある研究ユニットに勤めている友人が研究室を訪ねてきました。 Google Cola bを使って、深層学習で、あるアフリカの言語の言語モデルを作ろうという話になり、ちょっとやってみました。Pre-Trainedの言語モデルで、要は、テキストファイルのその言語のテキストをできるだけたくさん与えれば良いらしいです。Pre-trained（事前学習済み）言語モデルとは、機械に言語データを大量に与えて、その機械にこの単語が来れば、次はこの単語が来そうとか、この位置ではこの語形が来そうとか、重み付けで、学習させたものです。 この際に、品詞やレンマなどの情報やタグ付けは無用で、ただ単に、Unicodeなどで書かれ機械可読な形にしたプレインテキストを大量に与えるだけでいいです。まず事前学習済み言語モデルを作ってしまって、そのあと、レンマや品詞タグ付けなどの形態素解析とか統語解析とか係り受け解析とかOCR（画像と文字とのマッチング）をやると、優れた解析モデル、OCRモデルができるよ、とのことです。 なので、まずは、この言語で、事前学習済み言語モデルを作ってみようとおもいます。ここでいう、モデルとは、理想像みたいないみでなく、ある言語のパターンを機械的に何万例も見せつけられて、だいたいパターンを会得した、疲れ知らずの学習を終えた生徒みたいな感じです。 ここで重要なのは、この機械学習の教育理念は、教科書を与えて、ある言語の文法を教師が丁寧に教えていく、という学習方法ではなく、この生徒に教えるのは、その言語の例文を何万通りも、休む暇もなく見せ続ける、超スパルタで、非人間的な学習方法です。機械なので、そのようなことも簡単にできちゃいます（ただし、電力とかを食う、あと、良いGPUがあった方が良い）。 これをやるにはロボットの生徒が良い設備をもっていることが重要ですが、最近では、GPUがその良い設備となっています。よいGPUがあれば、より早く学習できるわけですが、機械学習で使われるようなNVIDIAのA100のようなGPUだと、安くて定評があるかんじの見た目の某ネットストアでは 179万円します （執筆時点）。 この悩みを解決するのが、遠隔で、どこかの企業のすごいコンピュータのGPUを使わせてもらうやり方ですが、Googleでは、Go
続きを読む