" data-en-clipboard="true"> 学習済みモデルのロード ・学習済みモデルでDoc2Vecを色々試してみる →今回は、日本語Wikipediaを対象にdoc2vec学習させたモデルを使用 from gensim.models.doc2vec import Doc2Vec model = Doc2Vec.load('jawiki.doc2vec.dbow3…

テーマを変更する jupyter-themesというpipパッケージを使用することで、簡単にJupyterのテーマを変更することができます。 pip install jupyterthemes もしうまくいかなかったら pip install lesscpy #LESSCPY（A compiler written in Python for the LESS …

" data-en-clipboard="true">Doc2Vec実装 ・livedoor newsコーパスの文章の類似度を比較します。 JUMANを用いて訓練データを作成 # import import sys from os import listdir, path from pyknp import Juman, Jumanpp from gensim import models from gensi…

" data-en-clipboard="true"> " data-en-clipboard="true"> NLPを用いたタスク ・検索エンジン ・文書分類 ・機械翻訳 ・予測変換 ・文書要約 ・質疑応答 ・対話 ・スパムフィルタ ・音声アシスタント ・構文解析 ・小説の執筆 構文解析 ・文節係り受け解析…

単語分割 ・形態素解析 ・Ngram 前処理 ・正規化：同じ意味の単語が別々に集計されないようにする ・HTMLタグ ・ストップワード：頻出キーワード、①やⅰ、です、私など ・数字 ・顔文字 ・化学式：C6H5OHなど ・数学や物理の公式 ・URL ・商品コードや型番 単…

自然言語 NL：Natural Language ：日本語や英語のような 自然発生的に生まれた言語 ・プログラミング言語のような人工言語(Artificial Language)とは対比の存在 自然言語処理 NLP：Natural Language Processing ：人間が日常的に使っている 自然言語をコンピ…