NLP

 
 
NL：Natural Language
：日本語や英語のような 自然発生的に生まれた言語
 
・プログラミング言語のような人工言語(Artificial Language)とは対比の存在
 
 
 
 
NLP：Natural Language Processing
：人間が日常的に使っている 自然言語をコンピュータに処理させる技術
 
 
・トークン：自然言語を解析する際、文章の最小単位して扱われる文字や文字列のこと。
・タイプ：単語の種類を表す用語。
・文章：まとまった内容を表す文のこと。自然言語処理では一文を指すことが多い。
・文書：複数の文章から成るデータ一件分を指すことが多い。
・コーパス：文書または音声データにある種の情報を与えたデータ。
・シソーラス：単語の上位/下位関係、部分/全体関係、同義関係、類義関係などによって単語を分類し、体系づけた類語辞典・辞書。
・形態素：意味を持つ最小の単位。「食べた」という単語は、2つの形態素「食べ」と「た」に分解できる。
・単語：単一または複数の形態素から構成される小さな単位。
・表層：原文の記述のこと。
・原形：活用する前の記述のこと。
・特徴：文章や文書から抽出された情報のこと。
・辞書：自然言語処理では、単語のリストを指す。