• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Perl へ行く。
  • 1 (2009-07-11 (土) 13:03:30)
  • 2 (2009-07-11 (土) 13:49:59)
  • 3 (2009-07-12 (日) 12:23:30)
  • 4 (2009-07-13 (月) 19:51:27)
  • 5 (2009-07-14 (火) 15:11:37)
  • 6 (2009-07-17 (金) 13:48:11)
  • 7 (2009-07-22 (水) 13:24:17)
  • 8 (2009-08-01 (土) 12:49:43)
  • 9 (2009-08-02 (日) 11:43:21)
  • 10 (2009-09-24 (木) 11:37:25)
  • 11 (2009-09-25 (金) 12:08:17)
  • 12 (2009-09-28 (月) 08:59:01)
  • 13 (2009-10-03 (土) 04:00:36)
  • 14 (2009-10-04 (日) 12:14:28)
  • 15 (2009-11-04 (水) 04:11:33)
  • 16 (2009-11-09 (月) 08:35:09)
  • 17 (2009-11-09 (月) 13:51:37)
  • 18 (2009-11-10 (火) 01:58:25)
  • 19 (2009-11-10 (火) 09:41:34)
  • 20 (2009-11-24 (火) 09:58:26)
  • 21 (2009-11-25 (水) 10:55:39)
  • 22 (2009-12-31 (木) 05:18:36)
  • 23 (2010-03-15 (月) 23:18:54)
  • 24 (2010-03-16 (火) 07:50:23)
  • 25 (2010-04-04 (日) 18:04:17)
  • 26 (2010-05-23 (日) 02:59:24)
  • 27 (2010-05-24 (月) 01:17:00)
  • 28 (2010-05-26 (水) 23:25:29)
  • 29 (2010-05-27 (木) 03:59:28)
  • 30 (2010-05-31 (月) 23:59:10)
  • 31 (2010-11-10 (水) 20:44:14)
  • 32 (2012-05-20 (日) 15:02:44)
  • 33 (2012-11-10 (土) 04:06:09)

自然言語処理

1. Mecab 詳細はMecab
   • 入力文の例　青空文庫　夏目漱石　吾輩は猫である　
     • 吾輩は猫である
   • 単語分割と品詞を表示 http://nlp.kimura-s.otaru-uc.ac.jp/Mecab/mecabExe.cgi
   • 単語出現頻度を求める http://nlp.kimura-s.otaru-uc.ac.jp/Mecab/mecabFrq.cgi
   • 単語出現頻度を求める（名詞限定） http://nlp.kimura-s.otaru-uc.ac.jp/Mecab/mecabFrqNoun.cgi
   • 共起頻度を求める http://nlp.kimura-s.otaru-uc.ac.jp/Mecab/mecab2gram.cgi
   • TF
   • IDF
   • TFIDF

1. CGI関連　サンプルスクリプト
   • Perl/CGIを利用したGET方式
   • Perl/FORMの入力画面 HTMLのFORM
   • useCGIを利用したPOST方式
   • useCGIを利用したPOST方式+LOGの書き込み
   • Yahoo!APIを利用する
   • Perl/MySQLからデータを抽出する
   • Perl/MySQLに格納するためのsqlファイル作成
   • Perl/MySQLに格納されたブログデータを表示
   • Perl/linuxで複数ファイルの文字コード変換
   • Perl/再帰読み込みで、ファイルサイズを計算する
   • PerlでHyperEstraierの検索結果を表示する
   • Perl/全角数字を半角数字へ変換する
   • Perl/CRF++データへの変換
   • Perl/複数ファイルの単語出現頻度を求める
   • Perl/ウェブサーバのアクセスログからクエリの解析
   • Perl/組み合わせ
   • Perl/名詞句AのB抽出方法
   • Perl/TwitterBotへ向けて
   • Perl/TwitterLog収集
   • Per/GoogleMapsとTwitter
   • 2009年7月「小樽」を含むブログ収集件数164,503件のBlogをDBへ格納する
2. 今後作成するスクリプト
   • XMLを読み込みDBへ出力するスクリプト?
   • Perl/MySQLに格納されたデータをXML形式で出力する
   • Perl/MySQLに格納されたwikipediaデータを抽出する
   • Perl/ブログデータの収集法法
3. 講義関連のスクリプト
   • 年齢当て　http://nlp.kimura-s.otaru-uc.ac.jp/InformationProcessing/HowOldAreYou.cgi
     • 年齢当て
   • 投稿時間、アクセスIP、ブラウザの取得
   • ２進数、８進数、10進数、16進数の変換
4. Perlで文字コード ^Mの削除

   	s/\r\n/\t\n/g;

5. 形態素解析
   • chasenのオプション chasen -i w -F "%m:%H "
   • Mecabのオプション　 mecab -O wakati
     • http://blog.myfinder.jp/2008/12/leopardmecab.html
6. エラーの対処方法
   • Mecab モジュールインストールエラー
     • MeCab: libmecab.so.1: 共有オブジェクトファイルを開けません
     • 参考頁

       	# vi /etc/ld.so.conf.d/mecab.conf <--新規作成
       	/usr/local/lib <--追加して保存
       	# /sbin/ldconfig <-- 反映

参考サイト †

1. http://iserver.iis.it-hiroshima.ac.jp/lect/2009/webpro/pdf/webpro07.pdf