第1章字符串操作1
1.1切分1
1.1.1將文本切分為語句2
1.1.2其他語言文本的切分2
1.1.3將句子切分為單詞3
1.1.4使用TreebankWordTokenizer執行切分4
1.1.5使用正則錶達式實現切分5
1.2標準化8
1.2.1消除標點符號8
1.2.2文本的大小寫轉換9
1.2.3處理停止詞9
1.2.4計算英語中的停止詞10
1.3替換和校正標識符11
1.3.1使用正則錶達式替換單詞11
1.3.2用另一個文本替換文本的示例12
1.3.3在執行切分前先執行替換操作12
1.3.4處理重復字符13
1.3.5去除重復字符的示例13
1.3.6用單詞的同義詞替換14
1.3.7用單詞的同義詞替換的示例15
1.4在文本上應用Zipf定律15
1.5相似性度量16
1.5.1使用編輯距離算法執行相似性度量16
1.5.2使用Jaccard係數執行相似性度量18
1.5.3使用Smith Waterman距離算法執行相似性度量19
1.5.4其他字符串相似性度量19
1.6小結20
第2章統計語言建模21
2.1理解單詞頻率21
2.1.1為給定的文本開發MLE25
2.1.2隱馬爾科夫模型估計32
2.2在MLE模型上應用平滑34
2.2.1加法平滑34
2.2.2Good Turing平滑35
2.2.3Kneser Ney平滑40
2.2.4Witten Bell平滑41
2.3為MLE開發一個迴退機製41
2.4應用數據的插值以便獲取混閤搭配42
2.5通過復雜度來評估語言模型42
2.6在語言建模中應用Metropolis—Hastings算法43
2.7在語言處理中應用Gibbs采樣法43
2.8小結46
第3章形態學：在實踐中學習47
3.1形態學簡介47
3.2理解詞乾提取器48
3.3理解詞形還原51
3.4為非英文語言開發詞乾提取器52
3.5形態分析器54
3.6形態生成器56
3.7搜索引擎56
3.8小結61
第4章詞性標注：單詞識彆62
4.1詞性標注簡介62
默認標注67
4.2創建詞性標注語料庫68
4.3選擇一種機器學習算法70
4.4涉及n—gram的統計建模72
4.5使用詞性標注語料庫開發分塊器78
4.6小結80
第5章語法解析：分析訓練資料81
5.1語法解析簡介81
5.2Treebank建設82
5.3從Treebank提取上下文無關文法規則87
5.4從CFG創建概率上下文無關文法93
5.5CYK綫圖解析算法94
5.6Earley綫圖解析算法96
5.7小結102
第6章語義分析：意義很重要103
6.1語義分析簡介103
6.1.1NER簡介107
6.1.2使用隱馬爾科夫模型的NER係統111
6.1.3使用機器學習工具包訓練NER117
6.1.4使用詞性標注執行NER117
6.2使用Wordnet生成同義詞集id119
6.3使用Wordnet進行詞義消歧122
6.4小結127
第7章情感分析：我很快樂128
7.1情感分析簡介128
7.1.1使用NER執行情感分析134
7.1.2使用機器學習執行情感分析134
7.1.3NER係統的評估141
7.2小結159
第8章信息檢索：訪問信息160
8.1信息檢索簡介160
8.1.1停止詞刪除161
8.1.2使用嚮量空間模型進行信息檢索163
8.2嚮量空間評分及查詢操作符關聯170
8.3使用隱性語義索引開發IR係統173
8.4文本摘要174
8.5問答係統176
8.6小結177
第9章語篇分析：理解纔是可信的178
9.1語篇分析簡介178
9.1.1使用中心理論執行語篇分析183
9.1.2指代消解184
9.2小結188
第10章NLP係統評估：性能分析189
10.1NLP係統評估要點189
10.1.1NLP工具的評估（詞性標注器、詞乾提取器及形態分析器）190
10.1.2使用黃金數據執行解析器評估200
10.2IR係統的評估201
10.3錯誤識彆指標202
10.4基於詞匯搭配的指標202
10.5基於句法匹配的指標207
10.6使用淺層語義匹配的指標207
10.7小結208
· · · · · · (收起)