基于Spark的旅游輿情熱點(diǎn)發(fā)現(xiàn)方法研究

打開文本圖片集

摘要：傳統(tǒng)的基于BTM的話題發(fā)現(xiàn)方法未考慮大數(shù)據(jù)條件下，海量短文本中熱點(diǎn)話題發(fā)現(xiàn)存在的時(shí)效性限制問題。基于Spark計(jì)算框架、BTM模型和K-means算法，提出了并行旅游輿情熱點(diǎn)話題發(fā)現(xiàn)算法，通過對(duì)旅游評(píng)論、微博短文本集的詞對(duì)生成、文檔-話題分布矩陣、文檔相似度計(jì)算及聚類過程進(jìn)行基于Spark框架的并行化，縮短了熱點(diǎn)話題的發(fā)現(xiàn)時(shí)間，提高了實(shí)時(shí)性。（剩余5205字）