短信治理迫在眉睫 语义过滤技术引发关注

来源:赛迪网  转自:飞象网
 
 近日,中国移动宣布将在部分省市试点手机安装客户端短信过滤产品。一款基于语基于语义特征的、自动的垃圾短信内容过滤系统引发关注。

    究竟什么是“语义特征”?短信过滤为何要引入此项技术呢?据中国移动技术负责人说,“语义特征”是一种全新的信息过滤技术,与“关键词”过滤有很大的区别。目前,市场上普遍采用“关键词”过滤技术,通过定义某个特定词语将涵盖该词的所有句子全部过滤掉。但是,“关键词”过滤有个明显的缺陷就是会产生“错杀无辜”的现象,如果用户定义了“打折机票”的字眼,无论青红皂白,所有的相关信息都被过滤掉,包括用户正常收发的短信。“语义过滤“技术则避免了这种情况发生,它会通过上下文的分析,依据特有的“语料库”对语言本身的含义进行判断,最终决定是否过滤删除。因此,对短信治理而言,“语义过滤”显然更加合理,更加符合中文语言表达的复杂性。

    据悉,国内目前拥有此项技术的厂商大概有两到三家,以站内搜见长的TRS,还有以“HNC理论”见长的北京大正语言研究院。“HNC理论”是基于语义特征的中文自然语言理解理论,旨在用电脑模拟人脑感知语言的过程,从逻辑思维角度对语义进行判断,从领域、情景、背景三方面分析得到结果,使中文语言处理实现了实质性的突破,消除了语言多重模糊,搜索过滤更为精准。

    中国移动相关人员表示,具体的技术方案尚在最后确定中。
 

没有评论: