升蓝软件知识文档库 www.hiblue.cn
知识过载与智能知识管理
2008-05-22
数据挖掘从大量数据中挖掘出了供决策参考的知识,这类知识和传统概念中人的知识有很大不同。知识的质量参差不齐,数量巨多,更新周期短,从而形成知识过载。
如何有效运用数据挖掘的结论为商业决策服务?智能知识管理平台的实现,将大大提高企业的决策水平,使知识为更广层次的员工服务。
知识过载及其产生背景
信息技术迅速发展,管理信息系统、互联网、数据挖掘、知识管理等正在不断改变企业的环境。管理信息系统使管理的广度和深度都得到提高的同时,积累了大量的数据,数据挖掘技术应运而生。
数据挖掘作为商业智能重要工具之一,是一种数学模型、人机系统和管理科学相结合的新型信息技术方法。这种方法利用关联规则、分类、聚类、预测、相随模式和时间序列等手段从大量、不完全、有噪声、模糊、随机的数据中,提取隐含在其中、人们事先不知但又是潜在有用的信息和知识。这些新知识可用来制定有效的商业战略去吸引新顾客和维持已有顾客、开发适销的产品等。
近年来,数据挖掘在生物、金融、保险、零售等行业已得到较为广泛的应用,成为信息时代决策支持的关键技术之一。通过数据挖掘获取的知识特别是决策树分类规则知识的数量可能非常庞大, 但并非所有的知识都可以很好地被应用,其中有一些是粗糙的知识与杂质。
再考虑其它挖掘方式,得到的知识会更多。每条规则都是一种知识,但并非所有这些规则是有用的,这样就进入知识过载状态。知识过载使用户感到困惑,降低了决策支持的效果,不得不投入大量人力资源和计算机资源从中搜寻有用知识。
中国科学院虚拟经济与数据科学研究中心率先进行了数据挖掘知识应用研究,中心研究团体称这种初始挖掘出来未经筛选的规则为原始知识,从中过滤、审计出的有用的特别感兴趣的规则称为可用知识。
知识过时就成为垃圾知识。如何识别知识的时效,如何提高知识利用率,降低知识过载的负荷,是数据挖掘领域面临的潜在问题之一。
智能知识
智能知识是指通过数据挖掘技术得到,通过人机交互处理后具有记忆、识别、自我更新和消亡等特征的有价值知识。传统的人类知识也是智能的,它们都隐含着知识的使用条件、背景、适宜人群等,能根据环境变化自动调整。但智能知识的提出是基于大量非智能知识的出现。
数据挖掘产生了大量类似的非智能知识,他们有定量化的指标,产生周期短,随时间变化可在短期内更新。另外,不同时期产生的知识间有时存在冲突,知识本身也随环境变化而退化,动态适应性差。而且,应用过程中知识是被动地利用,不能主动提供给需要的人,而用户无法识别边界条件,人工审计的成本高,工作量大,周期长。
智能知识概念应时而生。智能知识首先是有用的知识;其次,它能自我管理,有一个出生、成长、结婚、生子、衰老、死亡等类似人类的生命周期;另外,它具有环境识别能力,能在正确的时间、适当条件下把知识提供给需要它们的人。
智能知识的孵化
数据挖掘的原始知识转化成智能知识有两个主要步骤:首先设定初级筛选条件,通过软件过滤掉明显没有价值的知识;其次通过人机交互方式对过滤出来的知识进行审计、评分,得到有价值的知识;最后标识这些知识,通过增加元信息使知识具备记忆、识别、推理等功能。
增加的元信息包括:产生知识的数据集、数据挖掘方法、创建人、知识的可信度、支持度、审计的分数、适用的部门、最后一次被检索或调用的时间、调用次数等。
这个过程就像鸡蛋的孵化,因此称之为“知识孵化”(如图1所示)。智能知识孵化出来后,下一步工作是如何让它生存,提供良好的生活环境,而生存环境的好坏取决于智能知识的表达方法。
表示方法及软件实现
通过比较多种方法,采用了可拓学的基元理论,用物元、事元和关系元来表达智能知识。在用物元、事元和关系元来表达智能知识的基础上,可以设计如下的表结构实现智能知识的存储。
智能知识管理平台
在上述表达的基础上,定义知识优化的规则,如关于同一方面的知识,从新数据集产生的优于从旧数据集产生的,同等条件下被调用次数多优于被调用次数少的知识等。进而设计实现智能知识生存的平台系统。
该平台系统的功能首先是把数据挖掘得到的原始知识进行孵化,诞生智能知识,并对智能知识的全生命周期进行管理,包括智能知识的出生、成长、结婚(兴趣、爱好相同的知识类聚并进行融合)、生子(通过推理产生新的知识)、衰老及死亡(存入删除库,不再使用)的过程。
与此同时,数据挖掘产生的智能知识和业务运营管理中人的经验知识在平台上充分交互、融合,使人的经验知识和智能知识不断螺旋式上升。另外系统还记录知识被调用的环境条件,在后续业务流程中可以触发相关知识,给需要的人进行动态提示。
通过对数据挖掘所获知识的研究和初步实践证明,智能知识管理方案是降低知识过载的有效措施之一。虽然取得了一些成果,但在后续工作中,还需着力解决如下问题:
◆冲突知识的自动识别。对各种挖掘方法得到的知识进行对比、整合,或实现对同一方法不同数据集得到的知识的冲突自动识别;
◆边界条件变化的自动适应、预警提醒。数据在动态变化,何时需要更新模型?当产生知识的环境有较大变化时,知识自身能进行调整或提醒用户修正知识;
◆问题与答案的有效匹配,容错匹配。希望实现智能知识与业务过程的有机衔接;
◆分层记忆,智能存储。规则一大堆,如何有效识别有价值的知识?把最常用的知识存储在最易得到的地方,最易浮现在需要的人面前。
这些问题的解决可能需要借鉴、利用交叉学科和其他相关领域的理论和方法。如心理学、社会学、动物学、可拓学等,并通过理论研究和实证研究相结合,定性研究和定量研究相结合,在科学方法的指导下大胆试验、探索、实践,使数据挖掘技术更好地为企业服务。
|
|
Copyright © 2000-2010 Shenzhen Hiblue Software Co., Ltd.
Url:
www.hiblue.cn