資料科學 Data Science 系列 (1)  -  資料探勘 (1)

1. 什麼是"資料探勘(Data Mining)"？

1. 什麼是"資料探勘(Data Mining)"?

資料探勘 = 資料庫之知識發掘

(Knowledge Discovery in Databases，KDD)

亦可稱作

資料引用自：https://zh.wikipedia.org/wiki/%E6%95%B0%E6%8D%AE%E6%8C%96%E6%8E%98

1. 什麼是"資料探勘(Data Mining)"?

資料探勘的應用...

1. 什麼是"資料探勘(Data Mining)"?

資料探勘技術...

• 知識發掘(Knowledge Discovery)：由現有的資料中，得知一些我們不知道的事情
• 假設檢定(Hypothesis Testing)：嘗試去證實或舉反證來驗證預設的想法

資料引用自：http://myweb.fcu.edu.tw/~mhsung/Ecommerce/Data_Mining/DM_methods.htm

3. 實作"文字雲(Word Cloud)"

參考教材：Text mining and word cloud fundamentals in R：5 simple steps you should know

• 文字雲：

• 文字雲：

• 文字雲：

• 文字雲：

1. 是"文字探勘"上常用的呈現手法之一

2. 在資料裡出現次數越多的字詞，會加以突顯出來

3. 比起表格類型的結果，文字雲更美觀

4. 其他的特色等你用了就知道，記得要寫心得給我

特色...

3. 實作"文字雲(Word Cloud)"

參考教材：Text mining and word cloud fundamentals in R：5 simple steps you should know

• 文字雲：

• 文字雲：

• 文字雲：

• 文字雲：

• 文字雲：

1. 準備要分析的資料(要求的檔案格式為".txt")

2. 安裝和載入所需的套件

3. 進行"文字探勘(Text Mining)"

4. 製作"字詞矩陣(term-document matrix)"

5. 產生"文字雲(Word Cloud)"

製作步驟...

3. 實作"文字雲(Word Cloud)"

參考教材：Text mining and word cloud fundamentals in R：5 simple steps you should know

STEP 1：準備要分析的資料

在本次範例中，將選擇一篇TED網站上的演講搞來進行分析。

[演講] How free is our freedom of the press?

3. 實作"文字雲(Word Cloud)"

參考教材：Text mining and word cloud fundamentals in R：5 simple steps you should know

STEP 1：準備要分析的資料

將網頁上的演講稿內容全部複製之後，另存成 "TED.txt"。

3. 實作"文字雲(Word Cloud)"

參考教材：Text mining and word cloud fundamentals in R：5 simple steps you should know

STEP 2：安裝和載入所需的套件

# 安裝套件
install.packages("tm")  # "文字探勘"用
install.packages("SnowballC") # Text stemming
install.packages("wordcloud") # 產生"文字雲"用
install.packages("RColorBrewer") # Color palettes


# 載入套件
library("tm")
library("SnowballC")
library("wordcloud")
library("RColorBrewer")

開啟 RStudio，在命令列中輸入以下指令：

3. 實作"文字雲(Word Cloud)"

參考教材：Text mining and word cloud fundamentals in R：5 simple steps you should know

STEP 2：安裝和載入所需的套件

等待 RStudio 執行完畢：

3. 實作"文字雲(Word Cloud)"

參考教材：Text mining and word cloud fundamentals in R：5 simple steps you should know

STEP 3：進行"文字探勘(Text Mining)"

在命令列中輸入以下指令：

# 讀取 Text 檔案(.txt)
filePath <- ".../TED.txt"    # 請將"..."改為"TED.txt"所在的目錄
text <- readLines(filePath)

# 將內容以"語料庫"的形式儲存
docs <- Corpus(VectorSource(text))

3. 實作"文字雲(Word Cloud)"

參考教材：Text mining and word cloud fundamentals in R：5 simple steps you should know

STEP 3：進行"文字探勘(Text Mining)"

在命令列中輸入以下指令：

# 讀取 Text 檔案(.txt)
filePath <- ".../TED.txt"    # 請將"..."改為"TED.txt"所在的目錄
text <- readLines(filePath)

# 將內容以"語料庫"的形式儲存
docs <- Corpus(VectorSource(text))


# 檢查內容
inspect(docs)

3. 實作"文字雲(Word Cloud)"

參考教材：Text mining and word cloud fundamentals in R：5 simple steps you should know

STEP 3：進行"文字探勘(Text Mining)"

在命令列中輸入以下指令：

# 讀取 Text 檔案(.txt)
filePath <- ".../TED.txt"    # 請將"..."改為"TED.txt"所在的目錄
text <- readLines(filePath)

# 將內容以"語料庫"的形式儲存
docs <- Corpus(VectorSource(text))


# 檢查內容
inspect(docs)

3. 實作"文字雲(Word Cloud)"

參考教材：Text mining and word cloud fundamentals in R：5 simple steps you should know

STEP 3：進行"文字探勘(Text Mining)"

• 過濾特殊字元：在命令列中輸入以下指令，將特殊字元以"空白"取代

# 將特殊的字元以"空白"取代

toSpace <- content_transformer(function (x , pattern ) gsub(pattern, " ", x))
docs <- tm_map(docs, toSpace, "/")    # 將"/"以"空白"取代
docs <- tm_map(docs, toSpace, "@")    # 將"@"以"空白"取代
docs <- tm_map(docs, toSpace, "\\|")  # 將"\\|"以"空白"取代

• 過濾贅詞、符號：在命令列中輸入以下指令，移除贅詞和多餘的符號

# Convert the text to lower case
docs <- tm_map(docs, content_transformer(tolower))
docs <- tm_map(docs, removeNumbers)    # 移除數字

# 移除常見的"轉折詞彙"
docs <- tm_map(docs, removeWords, stopwords("english"))
docs <- tm_map(docs, removePunctuation)  # 移除標點符號
docs <- tm_map(docs, stripWhitespace)    # 移除額外的"空白"

3. 實作"文字雲(Word Cloud)"

參考教材：Text mining and word cloud fundamentals in R：5 simple steps you should know

STEP 4：製作"字詞矩陣(term-document matrix)"

在命令列中輸入以下指令：

dtm <- TermDocumentMatrix(docs)
m <- as.matrix(dtm)
v <- sort(rowSums(m),decreasing = TRUE)
d <- data.frame(word = names(v),freq = v)
head(d, 10)

3. 實作"文字雲(Word Cloud)"

參考教材：Text mining and word cloud fundamentals in R：5 simple steps you should know

STEP 5：產生"文字雲(Word Cloud)"

在命令列中輸入以下指令：

set.seed(1000) # 設定可重複的亂數序列
wordcloud(words = d$word, freq = d$freq, min.freq = 3,
          max.words = 100, random.order = FALSE, rot.per = 0.35, 
          colors=brewer.pal(8, "Dark2"))

產生的文字雲

資料科學 Data Science 系列 (1)  -  資料探勘 (1)

4. 學習資源(自行練習)

4. 學習資源(自行練習)

R 語言翻轉教室

http://datascienceandr.org/

• 00-Hello-DataScienceAndR
• 01-RBasic-01-Introduction
• 01-RBasic-02-Data-Structure-Vectors

請自行完成以下的課程，之後會講解並應用這些課程上的內容：