首頁 | 關於知識網 | 會員規範 | 知識地圖| 本站連結 | JACKSOFT | 加入會員 |
JCAATs技術小百科:文字探勘-文件頻率的使用

JCAATs AI稽核軟體於使用文字探勘時如關鍵字 (keyword)、文字雲(Text Cloud)、情緒分析(Sentiment)等進階指令中,關於文字探勘參數設定,要如何正確使用?(本篇以文件頻率做說明)

一、最小文件頻率 min.df (Minimum Document Frequency)
* 設定的範圍為0~1,當某個詞或詞組至少出現在多少個文件中,才能被考慮為重要特徵,如果一個詞或詞組的文件頻率低於這個最小值,則會被忽略。
* 如,min_df=0.1,則表示只有出現在至少10%文件中的詞語才會被考慮。

二、最大文件頻率 max.df (Maximum Document Frequency)
* 設定的範圍為0~1,當某個詞或詞組最多可以出現在多少個文件中,如果一個詞或詞組的文件頻率高於這個最大值,它將被忽略。
* 如,設定max_df=0.85,表示如果某個詞出現在85%以上的文件中,它會被排除。

計算方式:文件頻率 = 出現筆數 / 總筆數


範例說明:
以詞數進行事故紀錄檔中的事件說明欄位的文字雲分析,查核事故關鍵字,以2種分析方式,作為判斷關鍵字重要程度的分析依據。
方法一:
文字雲:EventDesc(事件說明)、
門檻值:詞數 5次、
最小字元數:2、
語言: Traditional Chinese(繁體中文)、
停用詞:符號、NLTK

方法二:
文字雲:EventDesc(事件說明)、
門檻值:詞數 5次、
最小字元數:2、
語言: Traditional Chinese(繁體中文)、
停用詞:符號+NLTK、
最小文件頻率:0.10


更多內容請詳附件

附件下載 返回上一頁

網站建議與問題回報 | 隱私權政策 | 網站管理規範 | 條款與政策