言語処理学会第28回年次大会 併設ワークショップ JED2022 - プログラム
JED2022 プログラム
2022年3月18日, オンライン開催
| 9:00-9:10 | オープニング |
| 9:10-10:35 | 日本語評価用データセットの構築と公開(1) |
| 10:45-12:00 | 日本語評価用データセットの構築と公開(2) |
| 12:00-13:00 | 昼休憩 |
| 13:00-14:20 | 特別講演: 日本語データセットの構築・利用・公開に関する法的整理 |
| 14:30-15:20 | リーガル分野におけるデータセット構築・利活用の現状と展望 |
| 15:30-17:00 | 日本語評価用データセットの構築と公開(3) |
| 17:10-17:35 | リレートーク: 統語解析データセット・モデルの公開 |
| 17:35-18:00 | 総合討論・クロージング |
🎤 一般発表 ⚡ ライトニングトーク 💬 ディスカッション
(発表時間は当日の進行状況により前後することがあります)
全ての概要を開く
日本語評価用データセットの構築と公開(1)9:10-10:35 座長: 河原大輔 (早大)
9:15-9:45
JGLUE: 日本語言語理解ベンチマーク
柴田知秀 (ヤフー), 栗原健太郎, 河原大輔 (早大)
概要
資料
複数種類の言語理解タスクを包括的に解くことによってモデルを評価・分析することが盛んに行われている。英語の言語理解ベンチマークであるGLUEを先駆けとして、英語以外の言語でもベンチマークの公開が進んでいるが、日本語においてはこのようなベンチマークは存在しない。
そこで、我々は一般的な日本語理解能力を測ることを目的とし、また、翻訳を介することなく日本語で一から構築することを基本思想として、日本語言語理解ベンチマーク(JGLUE)の構築を行った。年次大会の本会議でその発表を行ったが、ワークショップでは本会議の発表で触れられなかったデータセット構築や評価実験の詳細について説明する。また、今後のベンチマーク構築の予定について紹介し、日本語評価セット構築の方向性について議論する。
そこで、我々は一般的な日本語理解能力を測ることを目的とし、また、翻訳を介することなく日本語で一から構築することを基本思想として、日本語言語理解ベンチマーク(JGLUE)の構築を行った。年次大会の本会議でその発表を行ったが、ワークショップでは本会議の発表で触れられなかったデータセット構築や評価実験の詳細について説明する。また、今後のベンチマーク構築の予定について紹介し、日本語評価セット構築の方向性について議論する。
近年、ニューラル言語モデルが自然言語の統語知識をどれほど有しているかを、容認性判断データセットを用いて検証する研究が行われてきている。しかし、このような言語モデルの統語的評価を行うためのデータセットは、主に英語を中心とした欧米の限られた言語を対象に構築されており、特に日本語を対象としたデータセットは存在していない。そのような背景から、既存のデータセットの問題点を克服しつつ、このようなデータセットが構築されてこなかった日本語を対象とした初めてのデータセットである JCoLA (Japanese Corpus of Linguistic Acceptability) を構築した。本発表では、JCoLAの背景や作成手順、今後の展望等に加えて、JCoLA作成過程での苦労や注意した点について紹介する。
自然言語処理研究においてどのような評価用データセットを用意するかは、技術の発展の方向性を決めるという観点から重要度の高い要素である。そしてそれは自然言語処理の一分野であるQA(質問応答)においても変わらない。本発表の前半では、自然言語処理における評価用データセットの役割を確認するとともに、ベンチマーク、データセット、コーパスなどの用語の整理を行う。また、(Rodriguezら2021)で提示されたQAにおける2つの評価パラダイムを紹介し、理学的関心を満たすことと実際に役立つツールを作成することにはギャップがあるという指摘を確認する。
本発表の後半では日本語QAデータセットに焦点をあて、それらを整理するとともに、英語QAデータセットと比較して不足部分を確認する。また、日本語QAデータセットであるJAQKETと英語QAデータセットのSQuAD2.0やTriviaQAの単語分布を比較することで、各QAデータセットが各文化圏の影響を多分に受けていることを確認し、単なる翻訳では補えない部分として紹介する。
本発表の後半では日本語QAデータセットに焦点をあて、それらを整理するとともに、英語QAデータセットと比較して不足部分を確認する。また、日本語QAデータセットであるJAQKETと英語QAデータセットのSQuAD2.0やTriviaQAの単語分布を比較することで、各QAデータセットが各文化圏の影響を多分に受けていることを確認し、単なる翻訳では補えない部分として紹介する。
日本語評価用データセットの構築と公開(2)10:45-12:00 座長: 柴田知秀 (ヤフー)
10:45-11:05
ライトニングトーク⚡ (2件)
概要
資料
薬剤投与は疾患治療における主要なアプローチである。薬剤の奏功や副作用、有害事象の情報は患者のQoL向上、治療計画の策定、また薬剤の開発において重要である。これらは治験や市販後の副作用報告等から収集されてきたが、その規模をスケールさせるのは難しい。一方、Web上に多数存在する闘病ブログ記事には患者や家族が記録した奏功情報が豊富に含まれている。そこで本研究ではブログ記事からの薬剤奏功情報自動認識手法の確立を目指し、闘病ブログ記事を収集、使用薬剤およびその奏功状況のアノテーションを実施した。日本人の主な死因である癌を対象とした1,019記事に対するアノテーションを集約した結果、292種の薬剤について5,146のタグ付けが得られた。
本研究では、日本語の感情分析データセットWRIMEを拡張し、新たに感情極性のラベルを追加した。本データセットは、60人のアノテータから収集した35,000件のSNS上の投稿について、喜びや悲しみなどの基本8感情の強度とポジティブおよびネガティブの感情極性のラベルを付与したものである。本データセットによって、テキストの書き手による主観的な感情と読み手による客観的な感情の両方を対象にした包括的な感情分析が可能となる。
アスペクト感情分析の業務活用の検討を進めるにあたり、学習データセットの作成または公開データセットの改善が避けられない状況になっている。現在、我々はアスペクト感情分析の技術検証を公開データセット（chABSA-dataset）を用いて行っている。本発表では、この技術検証の中で検討した学習データセットの改善案や一部改善案の試行結果について紹介する。
インターネット上のレシピは増加する一方であり、日本だけでも、この 10 年間で 400 万品以上のレシピが投稿されている。これらのレシピに対する自然言語処理や画像処理の研究を支援するため、我々は日本語レシピデータセットを継続的に構築し、公開してきた。Cookpad Recipe Dataset（2015 年公開）と Cookpad Image Dataset（2017 年公開）、Cookpad Comparable Corpus（2017 年公開）、Cookpad Parsed Corpus（2020 年公開）という四つの日本語レシピデータセットは、2022 年現在、延べ 200 以上の研究機関で利用されている。本発表ではこれらのデータセットについて紹介する。また、それらの複合的な用途についても紹介する。
特別講演: 日本語データセットの構築・利用・公開に関する法的整理
13:00-14:20 座長: 浅原正幸 (国語研)
講演者: 柿沼太一 先生（弁護士, STORIA法律事務所）
概要
日本語データセットの構築・利用・公開を適法に行うためには，法令上の制限及び契約・ライセンスの問題をクリアにする必要があります．前者については著作権法と個人情報保護法制が主として問題となり，後者については当該データセットに付されているライセンスの解釈の仕方，あるいはご自身が作成されたデータセットを公開する際にどのような条件で公開すべきかが問題となります．本講演においては，それらの問題の全体像についてご説明すると共に，よく問題となるケースについてもできるだけ具体的に説明をいたします．日本語データセットの構築と利用性の向上の一助になればと思います．
略歴
専門分野はスタートアップ法務及びデータ・AI法務．現在，様々なジャンル（医療・製造業・プラットフォーム型等）のAIスタートアップを，顧問弁護士として多数サポートしている．経済産業省「AI・データ契約ガイドライン」検討会検討委員（～2018.3）．日本ディープラーニング協会（JDLA）有識者委員（2020.5～）．「第2回 IP BASE AWARD」知財専門家部門グランプリを受賞（2021）．
リーガル分野におけるデータセット構築・利活用の現状と展望14:30-15:20 座長: 久本空海 (Legalscape)
法律ドメインにおける自然言語処理の利活用は、研究・産業いずれの領域においても重要となっている。本発表では、利活用の前提となる、法令・判例などの法情報のオープンデータ化に向けた国とLegalscapeの取り組みについて紹介する。また、得られた法情報を「構造化」・「リーガルウェブ化」することによる利活用の展望についても、これまで得られた知見を元に共有する。
本発表では、MNTSQ（モンテスキュー）社が目指すフェアな合意形成のあるべき姿を示した上で、自然言語処理技術が契約書解析タスクにおいて価値を発揮する要点について概説する。また、英語圏における契約書データセットの事例と比較しながら、日本語におけるオープンかつ効果的な契約書データセット構築を阻む壁が何か、開発する上で課題となる箇所はどこかについて議論する。
契約書における権利，義務の自動認識を目的としたコーパスを構築し，アノテーションガイドラインを作成した．アノテーションは契約書に対してテキストの範囲として，どの当事者がどのような権利，義務を持ち，その発動要件や例外は何かといった情報を付与する．
近年、法律ドメインにおいても自然言語処理研究が活発になりつつあるが、海外では判決書を元に作成されたデータセットが容易に入手可能な状況となっている一方で、日本語で書かれた日本法に対応するデータセットの普及は進んでいない。日本の言語及び法制度の特徴が反映されたデータに基づいて既存手法を検証するため、そして新規手法の研究開発を促進するためにも、日本語・日本法に基づくデータセットの整備・共有は急務である。
本発表では、過去に構築した日本語判決書議論マイニングデータセットおよび、現在構築中の日本語判決書判断予測データセットについて、各データセットの概要とその構築の過程を紹介する。特に、法律ドメインにおけるアノテーションに関して、作業者の選定から、アノテーションスキームの開発・専門家を動員したアノテーションの運用とその課題まで、実際のデータセット構築を通して得られた知見について共有する。
本発表では、過去に構築した日本語判決書議論マイニングデータセットおよび、現在構築中の日本語判決書判断予測データセットについて、各データセットの概要とその構築の過程を紹介する。特に、法律ドメインにおけるアノテーションに関して、作業者の選定から、アノテーションスキームの開発・専門家を動員したアノテーションの運用とその課題まで、実際のデータセット構築を通して得られた知見について共有する。
15:00-15:20
質疑応答・ディスカッション
八木田樹 (Legalscape), 稲村和樹 (MNTSQ), 舟木類佳 (LegalForce/京大), 山田寛章 (東工大)
概要
資料
日本語評価用データセットの構築と公開(3)15:30-17:00 座長: 河原大輔 (早大)
15:30-15:50
供述調書に現れる数量表現の推論テストセットの構築
小谷野華那 (お茶大), 谷中瞳 (東大), 峯島宏次 (慶應大), 福田浩司, 橋爪宏典 (NEC), 戸次大介 (お茶大)
概要
資料
昨今の自然言語処理の発展により、刑事手続きの文書にも意味解析技術の応用が試みられている。供述調書には数量表現が頻出するため、数量表現の意味を正しく処理することは特に重要である。そのような用途に供する言語処理技術を開発し、正しく評価するために、実テキストの数量表現の理解を問うデータセットが求められている。また、数量表現が現れる文の推論では、含意と推意の間で判定が異なり、平叙文と否定文、条件文では含意関係が反転する場合がある。そこで本研究では、刑事手続きに関連する実テキストのうち数量表現を含む文とNPCMJから抽出した否定文、条件文を用いて、数量表現の分類や用法などについて高度な意味アノテーションを付与した数量表現コーパスを構築した。さらに含意と推意の2つのラベルを付与した数量表現の推論テストセットの構築を行い、ベースライン実験による評価を行なった。
単語の意味と文の構造から文を構成的に理解し，文間の含意関係を認識する自然言語推論は，人間らしい言語理解を計算機上で実現するための基本課題である．本発表では，深層学習のモデルが陥りやすいヒューリスティクスの分析を目的とした英語の推論データセットHANSの構築手法を参考に，理論言語学に基づく推論テンプレートを設計し，日本語の推論データセットJaNLIを自動構築する手法を提案する．JaNLIは，語順が比較的に自由であるという日本語の特徴を考慮してヒューリスティクスをより細分化したこと，受身・使役やスクランブリングなど日本語に特徴的な言語現象を扱っていること，心理言語学の知見に基づき様々な種類のガーデンパス文を含む，といった特徴をもつ．また，JaNLIを用いて日本語・多言語汎用言語モデルがどの程度日本語の意味と構造に基づいて構成的に推論できているのか分析した結果を紹介し，理論言語学に基づくデータセット自動構築が，評価手法としてだけでなく質の良いデータ拡張手法としても有用であることを示す．
16:15-17:00
ライトニングトーク⚡ (5件)
概要
資料
オンラインサービスにおけるクチコミは，サービスや製品の利用を検討しているユーザには不可欠な存在です．
クチコミには様々な感想・意見・要望が含まれていますが，大量のクチコミから欲しい情報を素早く得るためには，知識の自動抽出や整理が必要です．
本LTではそれを行うために構築・公開したJapanese Realistic Textual Entailment Corpus (JRTEコーパス) を紹介します．
クチコミには様々な感想・意見・要望が含まれていますが，大量のクチコミから欲しい情報を素早く得るためには，知識の自動抽出や整理が必要です．
本LTではそれを行うために構築・公開したJapanese Realistic Textual Entailment Corpus (JRTEコーパス) を紹介します．
SNSから収集したデータの利用においては，個人情報や権利関係，利用規約など考慮すべきことが多い．このため，言語資源を公開する心理的な障壁は必ずしも低くない．利用促進のために昨今では法解釈の知識が普及しつつある一方で，実際の経験談を広めることも有効だと思われる．
そこで本発表では，発表者の経験にもとづき，言語資源の公開に伴うリスクを整理し，それらのうち軽減可能なものへの対処方法を紹介する．これにより，漠然とした不安を抱える方々の意欲を後押しすることを目標とする．
そこで本発表では，発表者の経験にもとづき，言語資源の公開に伴うリスクを整理し，それらのうち軽減可能なものへの対処方法を紹介する．これにより，漠然とした不安を抱える方々の意欲を後押しすることを目標とする．
本発表では，日本語タスク指向型対話コーパス作成のための対話収集基盤構築に向けた取り組みを紹介する．
対話インストラクション生成機能やシミュレーター機能を含んだ拡張性のある対話収集基盤を構築し，その基盤をクラウドワーカーに提供することで，新規ドメインであっても対話データを容易かつ大量に収集することが可能となる．
現在の取り組みとして，本発表では，構築した対話収集基盤を用いた対話収集実験の結果を報告する．
今後は，より現実的な対話を収集するために，曖昧性のある発話を促す対話インストラクション生成について取り組む予定である．
対話インストラクション生成機能やシミュレーター機能を含んだ拡張性のある対話収集基盤を構築し，その基盤をクラウドワーカーに提供することで，新規ドメインであっても対話データを容易かつ大量に収集することが可能となる．
現在の取り組みとして，本発表では，構築した対話収集基盤を用いた対話収集実験の結果を報告する．
今後は，より現実的な対話を収集するために，曖昧性のある発話を促す対話インストラクション生成について取り組む予定である．
転移学習モデルでは、ウェブ文書をフィルタリングすることによって大規模な事前学習コーパスを構築することが多い。しかし、フィルタリングが転移学習モデルの性能にどのような影響を与えるかは明らかではない。本研究では、過去の研究を参考にフィルタを設計し、フィルタリングの有無による日本語転移学習モデルの性能差を複数の下流タスクにおいて確認した。結果として、フィルタリングしたコーパスによる事前学習が必ずしもフィルタリングしないコーパスによる事前学習を上回るとは限らないということが示された。また、一部のタスクでは明確にフィルタリングによる性能向上が見られた。
ワークス徳島人工知能NLP研究所では、2022年2月に形態素解析器 Sudachi を利用して事前学習を行った日本語言語モデル「chiTra」を公開しました。
本発表では、これに伴い調査を行った日本語言語モデルの公開状況とそれらの性能評価、それに付随する評価タスクやデータセットの状況について概観し、合わせて chiTra モデルで採用した評価方法についてお話しします。
本発表では、これに伴い調査を行った日本語言語モデルの公開状況とそれらの性能評価、それに付随する評価タスクやデータセットの状況について概観し、合わせて chiTra モデルで採用した評価方法についてお話しします。
リレートーク: 形態素解析辞書・統語解析データセットの公開17:10-17:35 座長: 松田寛 (Megagon Labs)
パネリスト: 浅原正幸 (国語研), 高岡一馬 (ワークス), 松田寛 (Megagon Labs)
総合討論・クロージング17:35-18:00 座長: 久保隆宏 (AWS)
パネリスト: 浅原正幸 (国語研), 河原大輔 (早大), 久保隆宏 (AWS), 柴田知秀 (ヤフー), 高岡一馬 (ワークス), 林部祐太, 松田寛 (Megagon Labs)
事前募集質問についてのディスカッション
概要
資料
日本語評価用データセットとその学習モデルが協調的な発展を遂げるために
概要
資料
クロージング
概要
資料