他们懂中文吗?一美国公司要做中文大数据分析

  大数据分析在IT圈里已经不是个新鲜的事。在海量的结构化数据里寻找规律,并作出分析和预测;这是目前很多厂商都在干的事儿。这里面既有传统的IT大厂,也有很多初创的小团队。但就在用户们觉得掌握了企业决策及市场监控的金钥匙的时候,他们貌似都忘了一个问题,那就是:除了结构化数据之外,对企业最有价值的往往是那些非结构化数据。因为专家对行业的洞察,消费者对产品的评价最终都会形成文字,而文字是很难被机器识别和理解的。这也就是为什么在这个全民大数据的时代,几乎没人敢提非结构化数据分析的原因。这件事太难了,他们搞不定!

  基于语义的大数据分析有多难?

  基于文字等非结构化数据的分析有多难?我们不妨来举个例子:

  “我的上一部手机很烂,不仅电池不够用,而且只用了半年就不亮了。而现在的这部真的不一样。用了一年多了,而且我也完全抛弃了移动电源。”

  上面这段话是笔者模拟的一个用户对一部手机的评价。虽然这段话中没有一个表示积极意义的词语,但所有人都能明白,这是一个对产品的积极评价。

  但是要让机器根据常用的“关键词”提取技术来分析这段评价,那肯定会被划进负面评价的类别里。

  当然,这世界上还有那么一批高人,他们就是不信邪;而且他们也确实搞出了一些基于语义的分析工具。但这些工具要么只针对英文语义(因为他们都是老外),要么就只针对某个特定的领域(例如针对处方的识别,这些文字都有非常强的可识别度,句子结构也非常简单)。

  按照这个逻辑,我们迎来中文大数据分析工具的时间将取决于两点:

  1、 指望那些搞出英文语义分析工具的老外彻底学会中文;

  2、 指望国内有团队能够积累足够的技术自己开发基于中文的产品。

  虽然我不确定两个问题中哪个问题能先被搞定,但我确定这肯定不是短期内能完成的事儿。

  一家美国公司要来中国做非结构化大数据分析?!

  前段时间,一家名为Taste Analytics的美国公司宣布即将进入中国市场。而他们的产品就是针对全渠道、中文的、大数据分析引擎(平台)。

  一家美国公司要来中国做非结构化大数据分析产品?他们懂中文吗?他们知道汉字都咋写吗?不得不说,这世界真是疯狂。

  虽然这家企业的老大是中国人,虽然他们已经拥有了吉列、动视暴雪、E.L.f、多芬、高露洁、美宝莲、欧莱雅、欧乐B、佳洁士、兄弟、佳能、爱普生、金士顿、闪迪、宝丽来、摩托罗拉、铁三角、飞利浦、森海塞尔、索尼等等上百家全球各领域顶级企业的客户,但我还是不信他们能做好基于中文的语义大数据分析产品。因为他们是美国公司,他们的成功案例也都是基于英文的。

  那么,是什么让Taste Analytics敢于进军中国市场呢?

Taste Analytics公司创始人、CEO Derek Wang

  Derek Wang,Taste Analytics公司的创始人和CEO。在微信采访中表示:Taste Analytics研发的大数据分析平台名为Signals,是一款针对非结构化数据的大数据分平台。目前已经能够覆盖包括中文、英语、法语、德语、西班牙语等11种语言。

  说实话,笔者当时确实有点惊慌失措:一家初创公司,做出了一个能分析11种语言的大数据分析平台……(截稿前,Taste Analytics公司的官方介绍已经更新为支持13种语言)

  但Derek Wang后面的解释让我抓住了重点:Signals是一个不基于自然语义的自然语义分析平台。

  通过对语言中字与字、词与词、短语与短语组合形式的统计,建立数学模型。这样,深奥的语言就变成一种数学表达式。在经过一系列的转换和变形之后,数学表达式中的变量将会变得相对很少;这样,开发人员只需要对剩下的变量进行人工定义,机器就可以通过数学的方法计算出这些数学公式(文字)究竟是要表达积极的意义还是悲观的意义,并最终将这些信息以加以汇总,然后以可视化的方法呈现出来。当然,Signals平台也会运用深度学习的方法不断优化和校准自己对字词句组合判断的准确率。

  简单的说,Taste Analytics的Signals平台是把语言变成了一道数学题,用统计学的方法来绕开对语义的纠缠。这也就是为什么Signals平台可以这么轻松的就做到跨语言、跨领域。

  而基于统计学和深度学习的分析方法还给Signals平台带来了一个天然的优势,那就是对于新兴词汇和造句方式有着天然的免疫效果。管你是“然并卵”还是“累觉不爱”,我只需要看这些新词汇在句子(数学公式)中出现的位置,就能判断他的作用,从而判断整个句子的真正含义。而这正是那些基于语义来进行分析的传统平台永远无法做到的,他们总要不断的告诉机器,新的词语是什么意思。

  其实他是个博士

  其实Derek Wang的学历是博士,一个理科生。不得不说,能用这样的方法来理解和分析语言,这是其他厂商所做不到的,甚至可以说是颠覆性的。当语种都不再是障碍,我想,这世界上能挡住他的东西也不多了。

  目前,Taste Analytics已经与国内包括云服务提供商、网络爬虫工具提供商在内的众多企业进行了深度的合作,中文网页也已经上线。而Derek Wang也透露,Signals平台将会在12月底正式登陆中国市场。

热门新闻

最新新闻