[[自然言語処理]]

+Mecab 詳細は[[Mecab]]
--入力文の例 [[青空文庫 夏目漱石 吾輩は猫である >http://www.aozora.gr.jp/cards/000148/files/789_14547.html]]
---[[吾輩は猫である]]
--[[単語分割と品詞を表示>http://nlp.kimura-s.otaru-uc.ac.jp/Mecab/mecabExe.cgi]]
--[[単語出現頻度を求める>http://nlp.kimura-s.otaru-uc.ac.jp/Mecab/mecabFrq.cgi]]
--[[単語出現頻度を求める(名詞限定)>http://nlp.kimura-s.otaru-uc.ac.jp/Mecab/mecabFrqNoun.cgi]]
--[[共起頻度を求める>http://nlp.kimura-s.otaru-uc.ac.jp/Mecab/mecab2gram.cgi]]
--[[自己相互情報量を求める>http://nlp.kimura-s.otaru-uc.ac.jp/Mecab/mecab-MI.cgi]]
--TF
--IDF
--TFIDF
--正規表現 001 日付を見分ける
--正規表現 002 日付を見分ける
--正規表現 003 日付を見分ける

+CGI関連 サンプルスクリプト
--[[Perl/CGIを利用したGET方式]]
--[[Perl/FORMの入力画面]] HTMLのFORM
--[[useCGIを利用したPOST方式]]
--[[useCGIを利用したPOST方式+LOGの書き込み]]
--[[Yahoo!APIを利用する]]
--[[Perl/MySQLからデータを抽出する]]
--[[Perl/MySQLに格納するためのsqlファイル作成]]
--[[Perl/MySQLに格納されたブログデータを表示]]
--[[Perl/MySQLに格納されたデータを更新する。update関数]]
--[[Perl/MySQLに格納するために、localtimeをdatetime型へ変換]]
--[[Perl/linuxで複数ファイルの文字コード変換]]
--[[Perl/再帰読み込みで、ファイルサイズを計算する]]
--[[PerlでHyperEstraierの検索結果を表示する]]
--[[Perl/全角数字を半角数字へ変換する]]
--[[Perl/CRF++データへの変換]]
--[[Perl/複数ファイルの単語出現頻度を求める]]
--[[Perl/ウェブサーバのアクセスログからクエリの解析]]
--[[Perl/組み合わせ]]
--[[Perl/Mecabの結果を利用して、単語と品詞を表示する]]
--[[Perl/名詞句AのB抽出方法]]
--[[Perl/TwitterBotへ向けて]]
--[[Perl/TwitterLog収集]]
--[[Per/GoogleMapsとTwitter]]
--[[Per/分類語彙表(基本)]]
--[[Per/分類語彙表(拡張)]]
--2009年7月「小樽」を含むブログ収集件数164,503件のBlogをDBへ格納する
+今後作成するスクリプト
--[[XMLを読み込みDBへ出力するスクリプト]]
--[[Perl/MySQLに格納されたデータをXML形式で出力する]]
--[[Perl/MySQLに格納されたwikipediaデータを抽出する]]
--[[Perl/ブログデータの収集法法]]

-[[Perl/全角アルファベットと半角アルファベット]]

+講義関連のスクリプト
--年齢当て http://nlp.kimura-s.otaru-uc.ac.jp/InformationProcessing/HowOldAreYou.cgi
---[[年齢当て]]
--投稿時間、アクセスIP、ブラウザの取得
--[[2進数、8進数、10進数、16進数の変換]]
+Perlで文字コード ^Mの削除
	s/\r\n/\t\n/g;
+形態素解析
--chasenのオプション chasen -i w -F "%m:%H "
--Mecabのオプション   mecab -O wakati
---http://blog.myfinder.jp/2008/12/leopardmecab.html
+エラーの対処方法
--Mecab モジュールインストールエラー
---MeCab: libmecab.so.1: 共有オブジェクトファイルを開けません
---[[参考頁>http://www.kusu.jpn.ch/blog/2009/02/02/%E5%85%B1%E6%9C%89%E3%82%AA%E3%83%96%E3%82%B8%E3%82%A7%E3%82%AF%E3%83%88%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%82%92%E9%96%8B%E3%81%91%E3%81%BE%E3%81%9B%E3%82%93%E3%81%A8%E8%A8%80%E3%82%8F%E3%82%8C/]]
	# vi /etc/ld.so.conf.d/mecab.conf <--新規作成
	/usr/local/lib <--追加して保存
	# /sbin/ldconfig <-- 反映

***参考サイト [#c53772e7]
+http://iserver.iis.it-hiroshima.ac.jp/lect/2009/webpro/pdf/webpro07.pdf
+Unixtime 処理 http://www.abe-tatsuya.com/web_prog/mysql/unix_timestamp.php