[PR] 美容整形 at 東京

第一回

自然言語 と 人工言語

自然言語
日本語、英語、…
人工言語
C言語、Java、Lisp、…

自然言語と人工言語の違いは?

自然言語

  • 音声と結びつくことがある。
  • 脳が処理する
  • あいまい性、多義性( ambignity )
    • 一つの表現からいくつも意味を汲み取れる。

人工言語

  • 音声で発音されることは少ない。
  • コンピュータ上で処理される。

C言語 → コンパイラ(gcc) → 機械語

自然言語処理の位置付け

コンピュータ科学 > 人工知能(AI) (自然言語処理)

  • 数値処理
  • 記号処理

zu01.01.gif

言語知識の獲得

 文 単語(辞書)
文法(単語の並べ方に関する規則)
  • トップダウン
  • Universal Grammar
universal grammar
生まれてまもなく、ある程度の言語レベルは習得している、という考え方。
母親やその他の人々から聞いた言葉の文法を覚えることで、うまくしゃべることができるようになる。

第二回

自然言語処理の歴史

zu02_01.gif

人工知能的アプローチと統計的アプローチ

zu02_02.gif

文法規則

S → NP VP
名詞句動詞句


NP → Det N
名詞句冠詞名詞


NP → V NP
名詞句動詞名詞句


NP → V NP
名詞句動詞名詞句


NP → I |*1pen|…
Det → a |the|…
V → have |get|…
I have a pen.

zu02_03.gif

スパースネス
少ししかないこと。まばら。

自然言語処理システムにおける処理の流れ

解析処理
形態素解析構文解析
(係り受け解析)
意味解析

例文

先生自転車学校行っ
名詞

普通名詞
助詞

副助詞
名詞

普通名詞
助詞

格助詞
名詞

普通名詞
助詞

格助詞
動詞

五段活用
動詞
連用形
助動詞

過去

zu02_04.gif

↑の図の右のほうは間違えている。

参考URL:http://0xcc.net/misc/nlpdd.html

第三回*2

意味解析

先生ガ(主体者)自転車デ(道具)学校へ(目的地)
行く
  • 深層格(deep case)
  • 表層格(surface case) … 格助詞(日本語)

動詞の分類

音韻論的分析による分類学校分類動詞
子音動詞あわ行 五段活用
か行 五段活用
さ行 五段活用
:
:
aw (会う)
kak (書く)
sas (指す)
:
:
母音動詞上一段活用
下一段活用
ki (着る)
ue (植える)

文法接辞と派生接辞

分類形態素機能
文法接辞ru
ita
ana
reba
e
非過去
過去
否定
仮定
命令
派生接辞sase
rare
e
imas
使役
受動、可能、尊敬
可能、丁寧

書かない→ 書k + ana + i
書きます→ 書k + imas + i
書く  → 書k + ru
書けば → 書k + eba

形態変化の規則

子音脱落
形態素の接続で子音が連続したときには、文末側の子音が脱落する。
母音脱落
形態素の接続で母音が連続したときには、文末側の母音が脱落する。

第四回 *3

句構造規則の形

S → PP VP
α → β

N → 先生 | 自転車 |…
α      β

第五回 *4

・・・における文法Gの定義

句構造文法の階層 α → β

  1. O型文法:制限なし
  2. I型文法:文脈依存法

    |α|≦|β|

  3. 2型文法:文脈自由文書
    A → β
    (A ∈ Vn *5、 β(Vn ∪ Vt) )
  4. 3型文法:正規文法
    A → aB または A → a
    ( A , B ∈ Vn , a ∈ Vt )

※プログラミング言語も2型文法
入力文 : x

質問
x ∈ L(G)
True? or False?
┌──────────┐
│・  .・←↓文 .│
│  .   .   │
│    L(G)    │
│ ..     ・ │
│  .  ・ . ・│
└──────────┘

第6回

言語理論とオートマトン

オートマトン(e-wordsより引用)
入力に対して内部の状態に応じた処理を行ない、結果を出力する仮想的な自動機械。
複数の状態と、それぞれの状態で入力結果に対してどのような処理を行うかを定めた関数とで構成されている。

有限オートマトン M

M = < k , S , P , q0 , F >

K = { q0 , q1 , … , qm }

S = { a0 , a1 , … , an }

P : 状態推移関数 δ( qi , ak ) = qj*6 の有限集合

q0 : 初期状態 ( q0 ∈ K )

F : 最終状態*7の集合 ( F ⊂ K )

6-1.gif

┌──────────┐
│・  .・←↓文 .│
│  .   .   │
│    L(G)    │
│ ..     ・ │
│  .abc ・   ・│
└──────────┘

L(G)= {
    a ,
    a b c ,
    a b d c ,
    a b d d c ,
    a b d d d c ,
}

文節の構造

正規表現

正規表現(e-wordsより引用)
文字列のパターンを表現する表記法。文字列の検索・置換を行なうときに利用される。
  1. ・ : 文字の積 ( 連接 ) … a・b
  2. + : 文字の和     … a+b
  3. * : 文字列 x の閉方 … a* *8

正規表現の例

a ・ d* ・ ( a + b )
= {

a a ,
a b ,
a d a ,
a d b ,
a d d a ,
a d d b ,

}

6-3.gif

第7回*9

正規文法と有限状態オートマトン

有限状態オートマトン
M = < K*10 , S*11 , P*12 , q0 , F >

文脈自由文法とプッシュダウンオートマトン

プッシュダウンオートマトン

M = < K*13 , Σ*14 , Γ*15 , P , q0 , z0 , F >

状態推移関数δの集合
δ( qi , a , z ) = ( qj , γ)

プッシュダウンオートマトンの例
言語 L = { 0^n 1^n | n = 1 , 2 , … }を受理するプッシュダウンオートマトン

L = { 01 , 0011 , 000111 , 00001111 , … }
K = { q0 , q1 , a2 } , Σ = { 0 , 1 } , Γ = { z0 , A }
P = {
   ・( q0 , 0 , z0 ) = ( q0 , Az0 ) , ▽( q0 , 0 , A ) = ( q0 , AA ) ,
   δ( q0 , 1 , A ) = ( q1 , λ ) , う( q1 , 1 , A ) = ( q1 , λ ) ,
   ウ( q1 , λ , z0 ) = ( q2 , λ )
}
F = { q2 }

7-1.jpg

第8回

欠席

第9回 自然言語処理における処理の流れ

  1. 形態素解析
  2. 構文解析 …構文造文法 : Chomsky
  3. 意味解析 …格文法(case) : Fillmore
格───┬───表層格 surface case
        │
        │
    └───深層格 deep case
  • 日本語の例
    ↓名詞  ↓名詞 ↓名詞 ↓動詞
    太郎ガ  花ニ  水ヲ  やる。
    主格↑ 与格↑ 対格↑
  • 英語の例
    I    bought a car  with  four dollars.
    名詞 動詞   名詞   "デ"  名詞
    • 前置詞
    • 語順

(4) gohn opened the door with the key.

    S   V(他動詞)   O

      ┌────── open ─────┐
      │              │            │
      │              │            │
   Agent(主格)   Object(対格) Instrument(深層格)
      │              │            │
     John          the door       the key
深層格
名詞が動詞に対して果たしている意味的な役割

太郎は かぎ ドアを開けた。
      深層格:道具・手段:I
太郎は 公園 走った。
      場所:L
太郎は かぜ 休んだ。
      原因・理由:(I?)

表層格深層格
道具・手段
場所
原因・理由

第11回

10_1.png
10_2.png


*1 |は「または」の意味
*2 遅刻した
*3 遅刻した
*4 遅刻した
*5 {S , NP , VP , N , P , …}
*6 書き換え規則 Qi → Ak Qj に対応
*7
*8 x^* = { λ , x , xx , xxx , … }
*9 遅刻した
*10 q0 , q1 , … , qm
*11 a0 , a1 , … , an
*12 δ(qi , ak) = q;
*13 q0 , q1 , … , ql
*14 a0 , a1 , … , am
*15 z0 , z1 , … , zn

添付ファイル: file10_2.png 49件 [詳細] file10_1.png 40件 [詳細] file7-1.jpg 52件 [詳細] file7-1.xls 36件 [詳細] file6-3.gif 58件 [詳細] file6-1.xls 34件 [詳細] file6-1.gif 52件 [詳細] filezu02_04.gif 47件 [詳細] filezu02_03.gif 56件 [詳細] filezu02_02.gif 48件 [詳細] filezu02_01.gif 60件 [詳細] filezu02_01.xls 41件 [詳細] filezu01_01.xls 43件 [詳細] filezu01.01.gif 54件 [詳細]

トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2007-01-22 (月) 23:10:22 (3861d)