大数据时代下图书馆数据挖掘和情报分析以中文发现系统为例,该文是大数据时代类有关专科开题报告范文和发现和数据挖掘和情报分析研究有关专科开题报告范文.
大数据时代论文参考文献：
关键词：大数据时代；图书馆数据挖掘；情报分析；中文发现系统
摘 要：大数据时代,对大量数据进行挖掘、分析、处理、提取成为图书馆服务升级及服务范围拓展的主要工作内容,而海量数据中存在的暗数据对相关数据的实际应用价值造成了严重的阻碍.文章以大数据时代图书馆中文发现系统数据挖掘及情报分析功能为例,结合大数据的概念及应用特点,对大数据时代图书馆的数据挖掘及情报分析进行了探究,旨在为大数据时代图书馆服务效率的提升提供一些参考.
中图分类号：G250文献标识码：A文章编号：1003-1588(2018)11-0129-03
现阶段,全球信息总量呈爆炸式增长,大数据时代已经到来.目前学界还没有明确的关于大数据的概念,一般来说,大数据主要是指管理PB级的数据存储,并通过数据挖掘及情报分析技术,获得对应数据的潜在价值,从而为相关人员提供信息数据支持.图书馆大数据主要用于学术性质的数据集合,其在数据大小方面远远超出了常规运行软件可以承受的处理范围.因此,对图书馆大规模数据进行分析,对数据挖掘及情报分析技术进行适当探究具有非常重要的意义.
1大数据的特点
相较于以往的海量数据而言,大数据具有价值密度低、多样性、体量大、速度快的特征.大数据时代,人们可以利用数学运算的方式对内部数据进行综合分析,从而得出相应事件的未来发展趋势,获得未知领域相关学术信息的关联性.大数据时代,系统、完整、全面的数据深度剖析,可以对以往知识体系进行逐步完善,并获得更深层次的知识脉络,如亚马逊、奈飞依据用户类似查询,可以进行相关产品推荐,从而提高对应商品的销售效益.
2大数据时代下图书馆的数据挖掘及情报分析的困境及优化思路
2.1大数据时代图书馆数据挖掘困境及优化思路
大数据时代,数据科学得到了迅速的发展,图书馆大数据开发处理效率得到了有效提升.首先,大数据时代图书馆内部学术信息资源规模的提升,对图书馆数据挖掘工作提出了更高的要求.大数据时代,数字馆藏规模不断扩大,数据类型也呈现出多样化的特征.以往随机取样的大数据分析方法,已不能满足现阶段图书馆数字化服务的要求,再加上大数据环境中相关数据价值往往隐藏在海量数据中,单一的机器及取样方式已无法获取相应数据的细节问题.针对这种情况,在数据挖掘模型构建过程中,图书馆就需要进行分布式计算框架的设置,如利用Spark、Map Reduce等软件进行集群计算环境的设置,同时,结合数据前期清洗也可在时间一定的情况下获得相应的文献关联信息.其次,随着图书馆内部数据类型的多元化发展,图书馆数据也由以往的多维、一维逐步转化为巨维.而在巨维数据分析过程中,以往多维数据模型就无法发挥良好的分析能力.在这种情况下,图书馆就需要结合主成分分析、奇异值分解等维度规约技术,适当降低数据维度,保证数据模型的可靠性.最后,在当前数据挖掘分析过程中,图书馆仍然无法在常规数据挖掘任务中有效识别词语语义关联、近义词或同义词的联系,如信息检索、自动摘 要等.此时,短文本处理环节就无法保证整体数据文献处理的效果,再加上目前图书馆数据知识库在规模及应用方式上的限制,也对图书馆提供全方位的数据信息服务造成了一定的阻碍.笔者认为,以上问题都可通过应用语义处理技术加以解决,即适当提升相关数据挖掘算法的语义化等级,提高整体数据的处理效率.在语义处理过程中,图书馆主要依靠中文知网、WordNet、维基百科、互动百科等结构化程度较高的知识库,结合Word2 Vcctor工具的应用,进行大规模预料词语矩阵的建立,以便为图书馆图像、视频、语音挖掘效率的提升提供依据[1].利用语义处理技术还可以将音频数据转换为文本,并通过声音信号时间位置的记录,提高整体音频数据标准的准确性.结合语义标注方式及微信等社会化API网络接口的设置,图书馆也可以确定相应数据概念的本体,便于明确信息间的联系,构建多维度知识处理网络.
2.2大数据时代图书馆情报分析困境及优化思路
以往图书馆情报分析大多为专利资源、Web资源、文献资源等文本信息,而现阶段数据源除文本数据外,还包括科技计划项目立项书、政府公文、科技报告等非机构文档,致使传统数据情报分析的弊端日益凸显.同时,基于大数据存储量的TB或PB级别,图书馆还需要在统一数据非结构情报分析模型中,进行有效信息抽取算法的设置,以便实现多数据源情报的有效融合[2].在大数据情报分析数据挖掘算法设置过程中,图书馆需要在以往关联规则、分类算法的基础上,对分析结果的准确度要求进行螺旋式处理,并设置相应的实时数据动态情报分析工具,以保证大量情报资源的有效分析.以往图书馆情报资源大多为纯净情报资源,相关资源可采用人工分析方式进行清洗,而在大数据时代,数据规模的巨大化导致大量脏数据存在于图书馆数据库中,这对整体数据分析的真实性造成了严重的影响.针对这种情况,图书馆可以对半结构化、非结构化数据进行预处理,利用特征属性提取的方式将冗余数据去除,然后对相应数据进行集中整合分析,以保证情报分析的效率.
3大数据时代下图书馆中文发现系统数据挖掘及情报分析
3.1中文发现系统机理
大数据时代,图书馆中文发现系统主要是在非结构化数据、结构化数据、半结构化数据的基础上,利用现代化数据储存及挖掘工具,结合搜索引擎技术的应用,对图书馆内部及外部各项学术信息进行深度挖掘探究,以便为图书馆用户提供更加全面的服务[3].中文发现系统数据挖掘具有发现知识、洞察全局、价值再生的效果.其中,发现知识主要是针对图书馆内部工作人员与图书馆用户之间的数据进行搜集,通过对信息资源的深度关联分析,可在资源与服务之间建立系统联系,提升信息搜索定位的效率；洞察全局主要是在统一的文献信息资源中,将各个独立的信息模块进行有机整合,从而形成一个完整的情报分析系统,便于全面分析研究学习趋势,为文献机构提供全局形式的文献学术信息；价值再生主要是对文献内部资源立体联系的总体分析,通过对学位论文、图书、期刊等文献资源的关联分析,可确定最终学术发展的趋势,便于挖掘图书馆大数据暗信息.
3.2中文发现系统引文及学术源流分析
在实际应用中,图书馆中文发现系统可以提供图书间、图书与期刊、期刊间、期刊与图书的前后引证联系,同时也可以为图书馆用户提供施引文献列表、链接及被引文献列表、链接,为相关学术反向研究提供有效的数据支持[4].现阶段,图书馆中文发现系统已拥有7,000多万条的引用分析数据,而引文关联数据总体数量也在11亿条以上.通过对图书、期刊、会议论文等相关学术文献的立体引文分析,图书馆可进一步完善立体服务网络.在中文发现系统运行过程中,图书馆可以综合利用抽象、归纳等多种统计学和数学方法,对内部学术对象引用、被引用情况进行统一概况叙述,便于获得相应学术资源内部学术情报特征.在实际应用中,中文发现系统引文分析功能可以打破时间、空间及学科的限制,通过有序化的学术文献排列,从外向内、由表及里地对相应学术文献进行量化分析,这有利于明确学术研究环节文献引用频率,进而确定相关研究科目的影响情况.同时,中文发现系统引文研究也可以明确不同学科间的联系和不同文献信息要素间的引证关系及其信息来源特征,而通过对相关文献信息被引用频率、引用频率的关联分析,也可以明确相应学术文献的老化规律,以便确定相关文献的学术价值.图书馆中文发现系统主要具有知识相关链条、作者相关链条、作者机构相关链条等几个方面的搜索功能.其中,知识相关链条主要是对知识源头、知识主体、知识活动进行相关关联分析,通过立体知识链条的设置,确定相关知识主体之间的联系.通过对知识主体、作者机构、作者立体联系的分析,图书馆可确定对应学科、文献信息及学术关联的关系,为学术信息与文献信息建立反向联系,为后续学术研究提供有效的数据支持.图书馆中文发现系统学术源流功能的作用是在以往单一文献资源研究单位的基础上,进行深入分析,对学术文献中数据与对应研究单位之间的联系进行逐步明确,最终形成知识概念链条.在实际应用过程中,图书馆中文发现系统的学术源流模块可以从单向、双向线性两个方面对整体知识关联链状架构进行合理分析,直至得到需要的信息[5].结合文献基本要求,中文发现系统还可以对文献学科领域与文献学术写作人员之间的信息关联进行综合分析,并依据学术文献创作人员所在机构的特征,进一步创建机构间的联系,从而确定相应学术研究人员的工作方向及对应学术研究的发展趋势.
3.3中文发现系统知识关联及生长方向评估
图书馆中文发现系统主要是在提供同一主题、领域及学科学术文献信息的基础上,对相应知识关联及生长方向进行合理评估,并对不同主题、领域及学科的学术文献信息进行挖掘分析,从而确定相关学术研究机构之间的联系.在图书馆中文发现系统中,知识不仅仅是一个立体网络架构,而是具有较为广阔的空间范围.而相关学术知识间也具有较为密切的联系,相关知识间的联系也被称为知识延伸及情报分析的关键节点,因此,为了保证知识间组织的科学性及实际效用,图书馆对知识关系进行科学管理就显得非常重要.知识关联是知识发现、知识创造的节点,其在知识载体间联系的判定方面具有重要的作用.而通过某个知识点的触发,也可以带动另外的知识点过渡到迅速发展阶段,以便对同一主题或不同主题间学术产出情况进行综合对比分析,并得出不同学术研究的发展情况.在学术领域一定的情况下,对相关学术知识的关联度分析,也可以确定相关学术研究行为的连续性及生长方向,以便建立具有学术参考价值的学术研究体系[6].
3.4中文发现系统可视化及智能辅助评估
图书馆中文发现系统可视化功能主要包括学术要素查看、学术检索结果输出等模块,同时还可以提供研究主题、学科关联对比分析曲线图表、图书文献现状及生长方向可视化处理等服务.图书馆中文发现系统主要利用计算机可视化技术,对统一结构化文献进行深度剖析,并利用对比、归一等数理方法,将学术文献创作时间、学术文献创作人员、学术文献创作类型、学术文献价值等相关要素进行集中整合,形成系统科学的数理统计分析文件,并结合计算机可视化图表处理,展示相关学术研究的主题热门程度,为相关学术研究人员提供更加直观的学术研究参考信息,为其学术研究工作的正常开展及明确开题方向提供依据.图书馆中文发现系统智能辅助模块具有检索关键词相关词条解释、期刊及图文导航、用户搜索行为分析、学术研究产出推送、用户潜在搜索需求主动推送、常用学科分析推送等功能[7].现阶段,图书馆中文发现系统在运行过程中对智能辅助系统的应用,彻底改变了以往单一用户检索词输入、提交、寻找的信息检索模式,通过主动信息推送的形式对图书馆用户检索词输入环节信息输送需求进行自动评估,并为其提供相关文献信息的来源及类似信息.
3.5中文发现系统趋势评估
图书馆中文发现系统趋势分析主要包括产出量指标划分、学术发展现状展示、规定时间段学术发展趋势总结、学术信息发展趋势深度挖掘及相关主题关联指标搜索等.图书馆中文发现系统趋势分析主要是通过对搜索主题、篇数等数字性质资料的分析,确定指标一定时多个连续关联之间的增减变动趋势变化.在中文发现系统实际运行过程中,文献搜集人员可以通过主题搜索,获得相应主题变动趋势数字曲线,并结合相关内容数据,得出对应学术主题的发展情况.而对不同年代的学术主题进行数据分析,有助于对学术发展的趋势进行预估判定,以便为后续学术研究主题的确定提供数据指导[8].在图书馆中文发现系统学术变化曲线中,若相应曲线在某一环节处于波峰阶段,则表明相应环节内相关主题学术研究工作的开展较为频繁；若相应曲线在某一环节处于波谷阶段,则表明相应环节内该主题学术研究处于低迷状态.
4结语
综上所述,大数据时代下的图书馆数据挖掘及情报分析工作主要是指在新技术思维的指导下,针对现阶段图书馆数据处理需求,从智能辅助、生长方向分析、趋势分析等方面进行多模块数据挖掘系统的构建.而在基础数据挖掘及情报专业分析的前提下,通过第三方软件或其他技术工具的应用,不仅可以展示图书馆内部学术资源的关联情况,而且便于相关决策数据进行单个图像元素的描述,从而为数据各个属性值的多维展示提供有效帮助.
参考文献：
[1]史梦楚.数据挖掘在大数据时代下的应用[J].中国新通信,2017(8)：88.
[2]刘春霞.基于数据挖掘的用户借阅行为分析：以河南理工大学图书馆为例[J].图书情报导刊,2017(8)：1-8.
[3]程晏萍.大数据在高校图书馆中的数据挖掘流程及应用分析[J].高校图书情报论坛,2016(3)：33-35.
[4]张宏伟,史惠媛.数据挖掘在高校图书馆文献采购决策中的应用：以黑龙江中医药大学图书馆为例[J].中国中医药图书情报杂志,2016(2)：22-24.
[5]李艳,吕鹏,李珑.基于大数据挖掘与决策分析体系的高校图书馆个性化服务研究[J].图书情报知识,2016(2)：60-68.
[6]陈静荣.图书借阅分析系统的数据挖掘技术[J].农业图书情报学刊,2017(2)：69-72.
[7]王红.数据挖掘在数字化图书馆中的应用研究[J].农业图书情报学刊,2016(1)：39-41.
[8]余鹏,李艳,吕鹏.高等院校大数据挖掘与决策分析体系的应用研究[J].现代教育技术,2016(8)：102-108.
（编校：周雪芹）
该文总结：此文为大学硕士与大数据时代本科大数据时代毕业论文开题报告范文和相关优秀学术职称论文参考文献资料，关于免费教你怎么写发现和数据挖掘和情报分析研究方面论文范文.
大数据时代高职院校财务管理的
大数据时代,不光为高职院校带来便利,同时在进行收集、传输……一系列工作的时候更加方便,这时对高职院校提出了更严格的要求 这就要求高职院校管理工作人员根据大数据时代财务管理的全新改变,制定相应办法去解决.
大数据时代下的市场营销机遇与挑战
摘要随着大数据时代的到来,其不仅给市场营销带来了新的发展机遇,也使市场营销面临着许多挑战,我们应利用大数据的优势,来促进市场营销的进一步发展 对大数据时代下市场营销的机遇,本文从提升市场营销的精准性、.
大数据时代下的传媒产业变革
随着科技的不断进步发展,大数据、云计算、人工智能……新技术带来了新一轮的媒体产业变革,也推进了人类大步迈进大数据时代 目前,传媒产业,作为信息的传播者,也是信息的接受者,在大数据时代将面对新的机遇和挑.
大数据时代高校档案管理的应对方式分析
【摘 要】随着信息技术的进步发展,我国迎来了大数据时代,高校档案所涉及的信息数据较大,对工作人员的工作态度和工作能力提出了一定需求 大部分高校都在采取传统档案管理模式,无法对大量信息数据及时进行整理总.