NLPIR系统KGB知识图谱技术助力大数据深度挖掘

ljrj123

　　大数据时代的到来，意味着海量数据的产生，给我们现有的数据存储技术带来了巨大的挑战。而随着时代的进步，大数据应用到越来越多的领域，产生的数据也越来越多，需要的存储空间也越来越庞大，数据信息应用需要很强大的数据空间支持。庞大的数据信息量对于高层领导决策是一个巨大挑战，高层领导者如果不能全面的收集信息，就可能会使得在最终作决策时做出片面的决策，不利于决策的正确实施，也不能推动工作的开展，甚至影响到未来的发展。

　　数据信息量大，关键是如何处理数据。数据的产生是一个很自然的过程，而数据的时效性又会导致更多的数据产生，信息处理过程不能很好地运行的不仅会使产生的结果发生变化，还可能会导致错误的处理结果，使得决策结果也会受到影响。所以，数据处理能力的高低对于高层领导决策者来说，是需要数据分析能力、数据挖掘能力、数据整合能力的统一协调，因为数据处理的结果不仅关系到决策的方向，更关系到未来的发展趋势。因此，数据信息量大对于数据的处理能力也有很大要求。

　　从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的技术方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。

　　而大数据技术不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。且中国物联网校企联盟认为，物联网的发展离不开大数据，依靠大数据可以提供足够有利的资源。

　　北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。

　　其中KGB(Knowledge Graph Builder)知识图谱引擎是我们自主研发的知识图谱构建与推理引擎，基于汉语词法分析的基础上，采用KGB语法实现了实时高效的知识生成，可以从非结构化文本中抽取各类知识，并实现了从表格中抽取指定的内容等。KGB同时可以定义不同的动作，如抽取动作，并能自定义各类后处理程序。利用KGB知识图谱引擎可以抽取到产品的详细报价信息，方便进行下一步的数据挖掘与图谱构建。

　　数据挖掘技术及其应用是目前国际上的一个研究热点，并在许多行业中得到了很好的应用，尤其是在市场营销中获得了成功，初步体现了其优越性和发展潜力。在信息管理领域，综合应用数据挖掘技术和人工智能技术，获取用户知识、文献知识等各类知识，将是实现知识检索和知识管理发展的必经之路。