フローグラフコーパス (FG corpus)

概要

しかし、「理解」は定義すらはっきりしない困難な課題です。 この問題に挑戦するために、手続き文書に注目した研究を行っています。 手続き文書は何をどうするかを書いているので、その構造をグラフで表現できます。

手続き文書としては、まずは料理レシピを対象としています。 料理レシピは典型的な手続き文書で、書店でも大きな場所を占めています。 また、多くのインターネットサイトがあります。 調理映像を録りやすいという利点もあります。

「理解」の表現形式として、フローグラフを定義しました。 レシピテキストにフローグラフを付与したコーパスを作成・公開しています。 フローグラフの表現を用いることで以下のような様々な応用が可能になります。

• より詳細なレシピ検索
• 作業観測に基づく進行に応じた作業補助
• 調理映像 (KUSK Dataset) との自動対応
• 自動調理

レシピフローグラフの定義

• タイトル
• 食材リスト (材料名および分量)
• 調理手順 (手順番号および手順説明文)

• 頂点: 食材や調理動作といったレシピ特有の表現 (レシピ用語)
• 辺: レシピ用語間の関係

頂点: レシピ用語

一般的な固有表現と同様に、単語中に用語の境界はないとしており、用語が入れ子関係になることもありません。

食材や道具といった名詞句だけではなく、調理者の動作のような用言もレシピ用語としています。 同一性の簡便な判定などのために、活用語は語幹のみをレシピ用語としています。 主に「Ac：調理者の動作」と「Af：食材の動作」が関係します。

フローグラフコーパスにはレシピ用語（頂点）とその関係（辺）の情報が付与されており、レシピ用語情報のみを付与したコーパスも公開しています。 これを用いて固有表現認識ツール (PWNER) を学習すると、レシピ用語を自動的に認識することが可能となります。

辺: レシピ用語間の関係

1. 述語項関係 (ゼロ照応も含む)

   調理手順の内容は主に「食材」と「動作」の関係であるため、これらの述語項関係は最も重要です。Agent, Targ, Dest, T-comp, F-compが該当します。

2. 2つの食材や道具の参照関係

   既に出現している食材や、食材を加工した物体を指すレシピ用語を関連付けます。F-eq, F-part-of, F-set, T-eq, T-part-ofが該当します。

3. 2つの動作の関係

   実際には一度しか行われない動作を繰り返して記述している部分や、動作のタイミングを関連付けます。A-eq, V-tmが該当します。

4. その他

   その他の修飾関係をOther-modとしています。

(注) 2015年6月以前に発表した論文では主語(ガ格)をsubj、対象(ヲ格)をd-obj、方向(二格)を i-objとしていました。 実際には深層格なので、それぞれAgent、Targ、Destにラベルを変更しました。

ダウンロード

ここではフローグラフコーパス作成用ツールセットを配布しています。 本ツールセットにレシピの本文は含まれておらず、アノテーション情報のみが含まれています。 レシピの本文は「クックパッドデータセット」から取得してください。 この両方があれば、以下のフローグラフコーパスとレシピ用語コーパスがお手元に構築できます。 詳細はツールセット内の 00readme.txt をご覧ください。

フローグラフコーパス

調理手順がフローグラフで表現されています(食材リストは含みません)。 実際のファイルは右図のような csv 形式になっています。 1レシピにつき1ファイルあり、1行が1頂点に対応します。 右図の左から順に

• A: ID
• B: レシピ用語単語列の文字位置情報
• C: レシピ用語タグ
• D: レシピ用語単語列
• E-Q: 辺ラベルごとの係り先の頂点ID

レシピ用語コーパス

調理手順に対して、人手で用語をアノテーションした結果です。 実際のファイルは右の図のような tree 形式 (係り受けエディターPNATに対応) になっています。 1レシピにつき1ファイルあり、1行が1単語に対応します。 右図の左から順に

• ID
• 係り先 (ダミー)
• 表記
• 品詞 (自動付与)
• 読み (自動付与)
• レシピ用語タグ (IOB2形式)

諸元

最新版 (Ver.2.0) は右の表の通りです。 フローグラフコーパスは、レシピ用語コーパスのサブセットです。

現在もアノテーション作業を行っています。 レシピ用語コーパスは1,000レシピ、うちフローグラフ付与は500レシピを目標としています。

KUSK Dataset 2014RC

リンク

• レシピ研究
  • 食メディア研究会
  • KUSK Dataset
  • 料理オントロジー構築プロジェクト
  • レシピ言語処理マニュアル
  • クックパッドデータセットの使い方
• 自然言語処理
  • 固有表現認識ツールPWNERを用いたレシピ用語の自動認識
  • 自動単語分割
• 過去の配布版
  • なし

メンバー

• 山肩 洋子
• 森 信介
• 笹田 鉄郎
• 前田 浩邦
• 門脇 拓也

過去のメンバー

• 山崎 健史

参考文献

フローグラフからの手順書の生成,

山崎 健史, 吉野 幸一郎, 前田 浩邦, 笹田 鉄郎, 橋本 敦史, 舩冨 卓哉, 山肩 洋子, 森 信介

情報処理学会論文誌, Vol.57, No.3, pp.849-862, 2016.

A Framework for Procedural Text Understanding,

Hirokuni Maeta, Tetsuro Sasada, Shinsuke Mori

IWPT, 2015.

レシピ用語の定義とその自動認識のためのタグ付与コーパスの構築,

笹田 鉄郎, 森 信介, 山肩 洋子, 前田 浩邦, 河原 達也

言語処理学会, Vol.22, No.2, pp.107-131, 2015.

KUSK Dataset: Toward a Direct Understanding of Recipe Text and Human Cooking Activity Information

Atsushi Hashimoto, Tetsuro Sasada, Yoko Yamakata, Shinsuke Mori, Michihiko Minoh,

CEA, 2014.

Flow Graph Corpus from Recipe Texts

Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, Tetsuro Sasada,

International Conference on Language Resources and Evaluation, 2014.

レシピテキストのためのフローグラフの定義,

森 信介, 山肩 洋子, 笹田 鉄郎, 前田 浩邦,

情報処理学会自然言語処理研究会, NL-214, 2013.

SOUR CREAM: Toward Semantic Processing of Recipes

Dan Tasse, Noah Smith,

Technical Report of Language Technologies Institute School of Computer Science Carnegie Mellon University.

MILK project

Structural Analysis of Cooking Preparation Steps in Japanese.

Reiko HAMADA, Ichiro IDE, Shuichi SAKAI, Hidehiko TANAKA.

The fifth International Workshop on Information Retrieval with Asian Languages, pp. 157–164. 2000.

Control Structures for Actions in Procedural Texts and PT-Chart

Yoshio Momouchi.

The 8th International Conference on Computational Linguistics, Vol.1, pp. 108–114. 1980.

謝辞

更新履歴