Natural Language Processing - AI/Robotics培訓

詳細培訓大綱

1. NLP 簡介
   • 理解 NLP
   • NLP 框架
   • NLP 的商業應用
   • 從網絡抓取數據
   • 使用各種 API 獲取文本數據
   • 處理及存儲文本語料庫，保存內容及相關元數據
   • 使用 Python 的優勢及 NLTK 速成課程
2. 對語料庫與數據集的實用理解
   • 為什麼需要語料庫？
   • 語料庫分析
   • 數據屬性類型
   • 語料庫的不同文件格式
   • 為 NLP 應用準備數據集
3. 理解句子結構
   • NLP 組成要素
   • 自然語言理解
   • 形態學分析 - 詞根、單詞、詞元、詞性標記
   • 語法分析
   • 語義分析
   • 處理歧義性
4. 文本數據預處理
   • 語料庫 - 原始文本
     • 句子詞元化
     • 原始文本詞幹提取
     • 原始文本詞形還原
     • 停用詞移除
   • 語料庫 - 原始句子
     • 單詞詞元化
     • 單詞詞形還原
   • 處理詞項-文件/文件-詞項矩陣
   • 將文本詞元化為 n-grams 和句子
   • 實用與自定義預處理
5. 文本數據分析
   • NLP 基礎功能
     • 解析器與解析
     • 詞性標記與標記器
     • 命名實體識別
     • N-grams
     • 詞袋模型
   • NLP 統計特徵
     • 用於 NLP 的線性代數概念
     • 用於 NLP 的概率理論
     • TF-IDF
     • 向量化
     • 編碼器與解碼器
     • 正規化
     • 概率模型
   • 高級特徵工程與 NLP
     • word2vec 基礎
     • word2vec 模型的組成部分
     • word2vec 模型的邏輯
     • word2vec 概念的擴展
     • word2vec 模型的應用
   • 案例研究：詞袋模型的應用：使用簡化版及真實 Luhn 算法進行自動文本摘要
6. 文件聚類、分類與主題建模
   • 文件聚類與模式挖掘（分層聚類、K-means、聚类等）
   • 使用 TFIDF、Jaccard 和餘弦距離度量比較與分類文件
   • 使用納貝葉斯 (Naïve Bayes) 和最大熵進行文件分類
7. 識別重要文本元素
   • 降維：主成分分析 (PCA)、單值分解 (SVD)、非負矩陣分解 (NMF)
   • 使用潛在意義分析 (LSA) 進行主題建模和信息檢索
8. 實體提取、情感分析與高級主題建模
   • 正面 vs. 負面：情感程度
   • 項目反應理論 (IRT)
   • 詞性標記及其應用：查找文本中提及的人物、地點和機構
   • 高級主題建模：潛在狄利克雷分配 (LDA)
9. 案例研究
   • 挖掘非結構化用戶評論
   • 產品評論數據的情感分類與可視化
   • 挖掘搜索日誌中的使用模式
   • 文本分類
   • 主題建模