Tokenizer（トークナイザ）とは何か？なぜ、日本語はAIにとって難しいとされているのか

新年あけましておめでとうございます。

The Insight 担当しております嶋崎です。2021年年末に政府は「デジタル社会の実現に向けた重点計画（デジタル重点計画）」を閣議決定したことで、デジタル化の波はさらにスピードを増してくることとなると存じますが、Palo Alto Insight ではThe Insight を通し皆様へ「わかりやすく、役に立つ」情報をお伝えし、お力になれるよう一層のサービス向上に努めてまります。

今年もどうぞ宜しくお願いいたします。

シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。2022年最初の今回はAIの中でも重要分野である自然言語処理（NLP:Natural Language Processing）と、日本語の自然言語処理に欠かせないトークナイザについてご紹介します。

近年、AIを活用した翻訳やチャットボット、音声応対などのサービスが次々と誕生しています。そのサービスを形づくる重要な技術の一つが「自然言語処理（NLP）」です。2018年にはGoogleが「BERT」を、2020年には米国のAI研究企業OpenAIが「GPT-3」という自然言語処理モデルを発表し、さらに注目が集まっています。

そこで今回は自然言語処理について日本語の特性ふまえて解説します。

論文データ
今回のディスカッション対象の論文をご紹介します。

「自然言語処理（NLP）」とは「Natural Language Processing」の略で、人間が日常生活で使う言葉をコンピューターで解析・処理する技術のことです。

人間の話し言葉や書き言葉には、曖昧な表現やさまざまな解釈ができる言葉が使われるケースが少なくありません。例えば「かける」という言葉は「校庭を走る」「鍵をかける」などさまざまな意味で利用されます。

そのため私たちの言葉をコンピューターに理解させるためにはまず自然言語処理を行い、コンピューターが扱える形式に整える必要があるのです。

自然言語処理は、すでに私たちの日常生活のあらゆる場面で活用されています。代表的なものがGoogleやYahoo!などの検索エンジンです。指定のワードで検索を行う際、Webサイトの内容を自然言語処理するなどして、検索意図に沿った結果を表示します。SiriやAlexaなどのAIアシスタントも、音声を自然言語処理して検索などを行っています。

そのほかにもチャットボット、ひらがなや漢字の入力変換、自動要約、機械翻訳などのサービス・ツールにも活用されています。

自然言語処理を行うためには、まず文章を単語（＝トークン）に分解するトークナイズを行い、コンピューターが処理できる入力形式に変換しなければいけません。それを実行するプログラムが「トークナイザ」です。

トークナイズにはいくつかの分解方法がありますが、中でも日本語の自然言語処理においてよく利用されているのが形態素に分解する「形態素解析」です。

形態素解析とは、文章を意味を持つ最小単位である「形態素」に区切り、それぞれを名詞や動詞などの品詞に分類することです。例えば「私は青い電車に乗る」という文章は、形態素解析を用いて以下のように分解・分類できます。

私は青い電車に乗る

↓

私（名詞）は（助詞）青い（形容詞）電車（名詞）に（助詞）乗る（動詞）

自然言語処理では一般的にまず形態素解析を行い、その後「構文解析」「意味解析」「文脈解析」のステップで処理を進めていきます。