融合相似性判斷的網(wǎng)絡(luò)新詞發(fā)現(xiàn)算法

打開文本圖片集

摘要：新詞的有效識(shí)別是文本預(yù)處理過程中一項(xiàng)非常重要的任務(wù)，關(guān)系到分詞效果的好壞。針對(duì)傳統(tǒng)新詞發(fā)現(xiàn)方法未考慮單字新詞的識(shí)別，且忽略了上下文句法結(jié)構(gòu)與語義信息對(duì)新詞識(shí)別結(jié)果的影響，提出一種統(tǒng)計(jì)量計(jì)算結(jié)合相似性判斷的網(wǎng)絡(luò)新詞發(fā)現(xiàn)算法。首先，基于字的粒度，依次計(jì)算單字詞頻、最大增強(qiáng)互信息和加權(quán)左右鄰接熵，從左向右逐字?jǐn)U展多字詞，獲得具有高成詞概率的候選新詞集合;再利用基于句法與語義的改進(jìn)相似性計(jì)算模型，得到語句相似度，過濾無效新詞。（剩余13782字）