JCAATs AI稽核軟體於使用文字探勘時如關鍵字 (keyword)、文字雲(Text Cloud)、情緒分析(Sentiment)等進階指令中,關於文字探勘參數設定,要如何正確使用?(本篇以文件頻率做說明)
一、最小文件頻率 min.df (Minimum Document Frequency)
* 設定的範圍為0~1,當某個詞或詞組至少出現在多少個文件中,才能被考慮為重要特徵,如果一個詞或詞組的文件頻率低於這個最小值,則會被忽略。
* 如,min_df=0.1,則表示只有出現在至少10%文件中的詞語才會被考慮。
二、最大文件頻率 max.df (Maximum Document Frequency)
* 設定的範圍為0~1,當某個詞或詞組最多可以出現在多少個文件中,如果一個詞或詞組的文件頻率高於這個最大值,它將被忽略。
* 如,設定max_df=0.85,表示如果某個詞出現在85%以上的文件中,它會被排除。
計算方式:文件頻率 = 出現筆數 / 總筆數
範例說明:
以詞數進行事故紀錄檔中的事件說明欄位的文字雲分析,查核事故關鍵字,以2種分析方式,作為判斷關鍵字重要程度的分析依據。
方法一:
文字雲:EventDesc(事件說明)、
門檻值:詞數 5次、
最小字元數:2、
語言: Traditional Chinese(繁體中文)、
停用詞:符號、NLTK
方法二:
文字雲:EventDesc(事件說明)、
門檻值:詞數 5次、
最小字元數:2、
語言: Traditional Chinese(繁體中文)、
停用詞:符號+NLTK、
最小文件頻率:0.10
更多內容請詳附件
附件下載
返回上一頁