Tetsuro Sasada 2015/10/13 <sasada@ar.media.kyoto-u.ac.jp>

PW+DPによる将棋NEタグ付与のサンプルセット

# 必須環境
  - Kytea ver 0.4.2以上 (最新版を推奨)
    http://www.phontron.com/kytea/index-ja.html
  - Perl 5.8.7以上 (最新版を推奨)

# 利用方法
% ./ner.sh
  - kyteaのパスが通っていない場合は
    kytea, train-kyteaの場所をner.shで直接指定

# 本ツールセットにはモデルファイルを同梱していますが、
# 新たにtrain-kyteaでIOB2タグ推定用のモデル学習を行う場合は、
# ner.shでそのモデルファイルを指定してください。その際、
# -solver 6 (タグごとの確率を出す)
# -global 1 (どの単語にも必ずいずれかのNEタグを推定)
# のオプションをtrain-kyteaで入れておいてください。

# 以下、NER用readme
# モデル・テストファイル
Shogi.knm: IOB2タグ確率推定用KyTeaモデル (UTF-8用, train-kytea ver 0.4.7で作成)
Test.word: テスト用入力データ (単語分割済み)
Test.iob2: テスト用正解データ (単語分割・IOB2タグ付与済み)

# bin/: 各種処理用のスクリプト

NESearch.pl:
kyteaの-out confで出力されるファイルにBIO制約を適用して最適経路(1-best)を出力

WordAccu.pl:
BIOタグ精度(O含)を計算

NEAccu.pl:
NEタグ精度(O除)を計算


-------------------------------------------
- おまけ: 単語分割・言語資源管理用スクリプト

wordtags2partial.pl:
IOB2タグ付与コーパスからtrain-kytea用の部分的単語分割コーパスを作成

mktree.pl:
IOB2タグ付与コーパスからPNAT用のtreeファイルを作成

tree2wordtags.pl:
treeファイルのタグフィールドを指定してスペース区切りのタグ付きコーパスを作成
