自然言語処理 - ホンダ・リサーチ・インスティチュート・ジャパン

自然言語処理

Cooperative Intelligence

複数の話題を同時に扱える自然言語対話システム

HRI-JPでは、人の言葉をコンピューターで取り扱う技術(自然言語処理:NLP)を用いた、人と言語でコミュニケーションを行う対話システムの研究を行っています。
スマートフォンの普及、ロボットブームやAIブームなどが後押しとなり、対話システムへの注目が急上昇しています。しかし、多くのシステムが単純な質問応答(一つの問いに対して一つの答えを返す)にとどまっています。

ここで「対話」とは、複数回のやりとりを行うようなものを意味します。 従来は、レストラン検索やホテル予約など特定の用途に向けたシステムの研究が一般的でした。
こうしたレストラン検索、ホテル予約といった、対話の話題のことを「対話ドメイン」と呼びます。一つの対話ドメインしか扱えないシステムに対し、ユーザからの入力に応じて複数のドメインの対話を行えるような対話システムを「マルチドメイン対話システム」と呼びます。

HRI-JPには、マルチドメイン対話システムを簡単に作る研究用フレームワーク「HRiME」(HRI Intelligence platform based on Multiple Experts)があります。
HRiMEは、言語を理解するための処理がモジュールで構成されており、対話ドメインに応じた知識ベースを追加したり、最先端のアルゴリズムと置き換えたりすることで、様々な目的の対話システムを構築することができます。

また、対話システムには、検索や予約などの目的を持った対話を行うシステムと、雑談のように対話を続けることを目標とするシステムがあります。HRI-JPでは、それぞれのタイプのシステムだけではなく、これらを組み合わせたシステムの研究も進めています。たとえば、インタビューは目的を持った対話ですが、ときおり雑談を行う事でユーザーに良い印象を与える事があります。このようなインタビュー対話システムも研究しています。

対話システムを構築するには、対話シナリオや辞書などを含む知識ベースを作る必要がありますが、この知識ベース作成を簡単にする方法も重要です。たとえば、大量のテキストから知識を獲得する方法や、システムが対話の中で知らない言葉を見つけたときにユーザに聞いて覚える方法を研究しています。

人の活動を支える対話では、飲食店情報、天気、スケジュールなど、話題が次々に変化していきます。そのような分野ごとに違う対話内容を「対話ドメイン」といいます。

世界最高性能を叩き出した固有表現抽出技術

DeepNNNER

対話システムが人の言葉を理解するときや、対話システムの構築に必要な辞書をつくるのに有効な技術として、固有表現抽出(Named Entity Recognition = NER)があります。これは、文章の中の人名や組織名、地名などの固有名詞や日付、時間などに関する表現を抽出する技術です。

HRI-JPが開発した固有表現抽出の手法、DeepNNNERの性能は世界でもトップレベルです。DeepNNNERは、NERにニューラルネットワークとしてLSTM(Long Short-Term Memory)を適用したものです。
従来のFFNN(Feedforward Neural Network)では学習できなかった、「長期の依存性」を学習できるのがLSTMの最大の特徴です。
加えて、単語毎の「名前らしさ」を多面的に定量化した特徴表現をCNN(Convolutional Neural Network)で生成してLSTMへ入力します。
さらに既存の固有表現抽出に利用される辞書をうまく組み合わせることで、より効率よく、より正確に、固有表現が抽出可能となります。英語の新聞記事のデータセットによるテストで、2016年にその性能が世界一を達成(当社測定)しました。 DeepNNNERは、HRI-JPで開発している対話システムでも利用されています。

Convolutional Neural Networkを用いて、字面から得られる単語の「名前らしさ」を多面的に定量化した表現を得ます(Char features,左図)。それを他の情報とともに双方向LSTM(右図)で処理することで、前後文脈も考慮した固有表現抽出を実現しています。(Chiu & Nichols (2016) より転載)