江南中国人民大学孟小峰教授：“科学数据智能——人工智能在科学发现中的机遇与挑战”—新闻—科学网
时间：2024-04-14 14:12:29 已阅读:77次
孟小峰 玻士，中国人平易近年夜学传授，玻士生导师，CCF会士。重要研究标的目的为数据库理论与体系、年夜数据治理体系、年夜数据隐衷掩护、年夜数据交融与智能、年夜数据及时阐发、社管帐算等。
摘 要 跟着全世界各科学范畴年夜科学装配的呈现，科学发明进入了年夜数据时代。科学发明没法彻底依靠在专家经验从海量数据中发明罕见科学事务，年夜量汗青数据没法有用哄骗，同时愈发凸起及时性以及高精度，科学事务的模式具备罕见性，通用的算法其实不合用在科学范畴，由此科学数据智能发明问题应运而生。科学数据智能发明旨于使用数据智能的要领加快科学事务的发明。然而，科学数据智能发明缺乏总体框架设计，详细体现为缺少科学数据的一体化阐发系统以及异构科学数据高效常识交融机制，而且海量汗青数据持久存储及挖掘低效。本文从数据治理的角度提出科学数据智能发明与治理框架以及相干应战，以期鞭策科学发明的前进。 要害词： 科学数据；数据智能；数据治理；智能发明；常识交融；持久存储 科学数据是指人类于科学勾当中，经由科学装配的不停成长而孕育发生，经由过程试验、不雅测、探测、查询拜访、挖掘等路子获取的用在研究勾当的原始数据及衍生数据，这些堆集的数据可以或许反应主观事物的素质、特性、变迁纪律。跟着科学不雅测装配、不雅测技能的成长，科学数据已经进入信息富厚的年夜数据时代[1]。天文学、遥感科学、高能物理学等范畴都面对着科学数据激增，需要摸索越发高效、智能的要领从年夜范围科学数据中发明有价值的科学事务。 科学事务的摸索以及发明每每具备时效性，以时域天文学为例，年夜视场短时标巡天以其阵列式不雅测笼罩组合年夜视场以及高时间分辩率的数据收罗，具有了高效发明短时标科学事务（连续时间较短的科学事务）的威力，但也对于数据治理带来史无前例的应战。年夜视场短时标巡天天天都以TB量级的速率倏地收罗数据，并造成年夜范围数据流，短时标科学事务就蕴含此中，可是短时标科学事务极为罕见且电光石火，是以对于阐发的及时性要求很高，此外高噪声以及伪事务又致使其真伪判定愈加坚苦[2-4]。不只于在天文学范畴，其他科学范畴数据网络近似，都愈发夸大及时性以及高精度。 事实上，上述例子的应战重要体现为 快、准、全 三方面。起首， 年夜科学装配孕育发生的年夜多为科学数据流，年夜范围流式处置惩罚以及阐发是必需的，其素质为 年夜 数据中发明 小 几率的科学事务，要求体系具有及时智能阐发的能面[5]。其次，体系需要提供对于科学事务倏地验证的威力，是以差别的数据源的高精度交融以及多标准实体画像构建可以或许助力科学家做出正确判定，即总体发明不只要 快 ，更要 准 。末了，因为科学事务的罕见性，体系需要实现智能地自我更新，以不停提高整个体系的发明威力，是以，必需借助汗青数据的高效阐发以实现科学事务发明的 全 面[6]。 基在此，针对于科学事务的发明方针，要解决年夜范围科学数据的智能发明问题，素质上是实现年夜范围科学数据的智能治理，本文从数据治理的角度来解决智能发明问题。 详细而言，年夜范围科学数据智能发明与治理重要面对着以下三方面的应战： （1） 及时智能的科学事务阐发 及时智能的科学事务阐发事实上重要面对数据处置惩罚以及智能发明两方面问题。科学数据中的不雅测方针极多，即数据基数年夜，就要求报警率极低（可达十万分之一），才气包管科学家对于报警的器重水平，是以不只需要具有及时处置惩罚年夜范围科学数据的威力，同时需要具有高精度的智能发明威力。 （2） 倏地高效的科学事务验证 高效的科学事务验证重要解决的问题是对于在科学事务报警旌旗灯号的及时验证，以倏地辨认其价值。例如，于时域天文学中，天文学家的验证事情繁琐，虽然有集成的数据库平台可使用，但这些数据库都只逗留于数据的集成阶段，未能高效地从集成的数据库中抽取数据间的瓜葛以及常识并加以交融，也不克不及充实哄骗汗青科学文献中堆集的科学事务常识，致使验证事情坚苦[7]。 （3） 年夜范围科学数据的持久存储 当前科学数据的网络效率愈来愈高，然而持久汗青数据因为治理威力限定出现出价值逐年递减的态势，犹如矿业范畴的煤矸石同样，不克不及被高效哄骗，影响了持久数据办事在提高体系发明威力的效率，是以，对于持久汗青数据的存储以及阐发是必需解决的问题。怎样有用构造并以低成本解决年夜量汗青数据的查询阐发问题，使患上可以或许从底层数据角度办事在智能阐发以及验证使命是科学数据面对的遍及问题。 1 科学数据智能发明与治理框架 前文所述的应战假如患上以解决，将为科学发明打开一扇极新的窗口，极年夜地助力科学家对于科学事务的发明事情。基在此，本文提出年夜范围科学数据智能发明与治理框架，如图1所示，包罗智能阐发层、常识交融层以及数据存储层三个部门：
图1 年夜范围科学数据智能发明与治理框架 （1） 科学事务的及时智能化阐发：针对于科学事务的实效性以及非凡科学装配数据收罗特色设计新的流数据处置惩罚框架顺应科学数据要求的及时机能约束以及处置惩罚模式，此外计较使命从数据以及模子两个角度助力科学事务的高效智能阐发。 （2） 多标准科学数据的全景化交融：科学不雅测不是片面的不雅测，存于多个不雅测角度、不雅测装配、不雅测所在等，针对于科学数据独有的多标准、多源不雅测特征，接纳常识交融及常识图谱技能实现差别科学数据源的交织交融，构建海量科学事务不雅测方针常识图谱，加快科学事务验证。 （3） 年夜范围科学数据的协夹杂存储：科学数据的持久存储重要解决高效查扣问题。是以，起首从存储优化角度提高总体数据拜候机能，科学数据凡是具备时间以及空间特征，可以经由过程时空优化的表里存协同存储与索引机制包管数据存储的合理性；其次从体系合理配置角度提高特定查询的效率，经由过程科学数据事情负载运转时的特性网络以及阐发，动态设置体系的最优化配置方案。 事实上，本文提出科学数据智能治理框架以科学事务智能阐发、高效科学事务验证以及年夜范围科学数据持久存储三年夜根蒂根基性要害技能作为支撑，三个要害技能作为一个无机总体配合助力科学事务的倏地发明。 2 科学事务的及时智能化阐发 本节重要聚焦在从处置惩罚框架以及阐发要领两个角度先容科学数据流的智能化阐发。 2.1 科学数据的漫衍式处置惩罚框架 科学数据流的情势是多样的，终极均可以归结为不雅测值的时间序列，但收罗体式格局会有差别。对于在元组收罗体式格局而言，每一个收罗终端卖力对于一个方针或者极小区域收罗样本值，如海洋中的不雅测浮标网络温度湿度等，每一次数据收罗都是一个极小的数据元组。对于在批量收罗体式格局而言，不雅测单位对于海量方针同时举行数据收罗，如时域天文学中不雅测阵列对于天体光度收罗，每一次城市造成海量方针的不雅测值的数据块，且这种数据块又不相宜拆分成元组处置惩罚，由于会丧失块内邻域元组之间的联系关系特征。 针对于以上特征，科学数据的漫衍式处置惩罚框架需要可以或许联合差别的范畴常识动态顺应差别收罗体式格局。对于在元组收罗模式而言，处置惩罚框架需要使用非壅闭式元组处置惩罚模式或者壅闭衰落批处置惩罚模式[8-9]，即Apache Storm以及Apache Spark streaming接纳的体式格局处置惩罚。对于在批量收罗体式格局而言，处置惩罚框架需要使用非壅闭式及时块数据处置惩罚模式，该处置惩罚差别在上述两种处置惩罚模式。因为块数据不克不及拆分元组处置惩罚又要包管块数据处置惩罚的及时性，是以处置惩罚框架必需统筹块邻域联系关系特色的根蒂根基上动态对于块数据分区举行漫衍式处置惩罚，且分区数据的处置惩罚要进一步有及时性包管。这就要求处置惩罚框架底层撑持基在块数据漫衍式处置惩罚的及时约束技能。此外，还需要经由过程资源断绝的体式格局断绝差别的处置惩罚模式并包管它们无机地协同事情。 2.2 交互反馈的科学发明机制 科学发明中经常使用的要领是时间序列异样检测[10-13]，重要要领可分为：基在分类、基在聚类、基在统计学、基在信息论和基在人工智能的异样检测等技能等。而当下科学数据凡是因此时序流情势出现[14]，且异样发明模式不克不及够彻底穷尽，致使传统的时间序列异样检测算法不克不及够胜任。 科学数据具备持续收罗特征，是以科学发明可分为离线挖掘与于线阐发两部门，从模子角度提高科学数据阐发精度。离线层数据量年夜，使患上离线数据练习的模子精度高，更可以或许涵盖数据的全局特性，但离线练习模子泯灭时间长；及时层数据量少，及时层的模子练习要求快，但练习的模子精度低，只可以或许涵盖数据的最新特性（局部）。是以需要研究于线与离线交互阐发反馈机制，用离线精度高的模子，撑持及时的异样检测，从体系以及算法两方面实实际时序列异样发明算法系统的演化，并实现离线分类模子自顺应更新，图2为本文提出的及时 离线闭环反馈计谋。 
图2 及时 离线闭环反馈机制 基在反馈机制的科学发明使患上体系的离线层以及及时层造成闭环，从而连续提高科学发明的精度，造成科学数据处置惩罚的事情流[15]。 2.3 数据品质节制与序列补全 科学数据作为一系列不雅测值轻易遭到外界情况滋扰，会致使数据的畸变或者缺掉，是以思量从数据角度提高阐发精度。 对于在典型的元组收罗体式格局而言，今朝有许多抗噪声的要领用在数据的品质节制，如小波变换等。可是对于在批量收罗体式格局而言，这种体式格局是不合用的。由于每一次滋扰都是局部空间相干的，如时域天文学中云雾对于天体光度的遮挡都是规模性的。是以，阐发这类局部空间的相干性滋扰是数据品质节制的焦点。这要求品质节制技能需要区别差别数据收罗体式格局，以动态适配。 不管是哪一种数据收罗体式格局，终极都因此时间序列情势出现的，因为不雅测规划转变、装备妨碍等，经常致使时间序列残破不全，缺掉的数据比例之年夜致使已经有的要领没法解决，严峻影响了后续对于不雅测数据的阐发和科学事务发明。针对于时间序列的补全，重要有基在统计量的统计学、基在相干时间序列和基在深度进修的要领[16-17]。这些要领凡是只能于离线层使用，要求相干序列非彻底缺掉，并且没法处置惩罚持续年夜量的缺掉数据。 于科学发明的真实场景下，序列的缺掉环境千差万别，不只需要科学数据的及时补全要领，同时需要包管于缺掉数据没法补全时的发明精度，联合反馈机制来不停完美补全算法，具备主要意思。 3 多标准科学数据的全景化交融 于科学发明场景下，科学事务的验证每每需要借助多个数据源的数据对于不雅测到的科学事务候选体举行同一化的多维度描写造成不雅测方针的多标准画像，以辅助科学家更为清晰地验证候选体的真伪，同时可以或许对于数据举行溯源[18]。为了对于不雅测方针的常识举行可粒度缩放、可跨界联系关系、可全局视图的交融与治理[19-20]，本节提出基在常识暗示进修的全景式科学数据常识交融机制（图3），帮忙科学家实现智能验证，冲破今朝验证的高延迟瓶颈。 
图3 年夜数据驱动的 全景式 科学数据交融机制 3.1 多标准不雅测方针之间的数据交融 科学数据可以来历在差别的不雅测装备、不雅测所在、不雅测体式格局、不雅测挨次等，其数据情势可所以数据集、数据库、文本或者文档等，数据格局可所以图象、文字等，是以其数据的多源异构特征很是较着。传统要领重要联合语义信息以及多辅助信息来计较相似度，需要设计差别的进修模子来顺应差别数����APP据的特性，十分未便[21]。 针对于科学数据的多源异构特征，需要实现多模态数据之间的暗示转换，以便将差别的特性映照到同一的常识暗示空间中[22]。该实体交融要领未来自在差别不雅测装备的、以差别格局存储的不雅测方针信息转化为同一的资源描写框架，并据此举行常识的对于齐以及消歧，详细使用基在常识图谱技能的有监视数据转化要领，经由过程参数同享、正则项增添等体式格局完成不雅测实体的交融。 3.2 不雅测方针及其描写间的常识获取 科学范畴有着年夜量的科学数据库以及本体库，与此同时另有海量的科学研究文献数据，关在科学发明以及科学事务阐发等科学论文可以从相干消息网或者数据库中自由获取，这使患上抽取年夜量以文本情势存于的科学常识变为可能，并且这也为常识的更新以及品质节制提供了包管。 是以于科学发明中，可以经由过程基在常识暗示进修的科学常识获取要领，将科学文献中存于的科学常识举行挖掘以及抽取，详细研究基在初始常识库以及本体库的双向嵌入式进修，对于实体以及本体都举行嵌入式进修，以此加强从科学文献中提取实体以及瓜葛的效率，同时研究于低资源情境下基在迁徙进修要领来把开放范畴中的研究模子引入到科学文献中的常识发明历程中来。 3.3 年夜范围不雅测方针常识的全景交融 针对于年夜范围不雅测方针的常识全景交融，旨于描画年夜数据驱动的 全景式 科学数据常识图谱。这里提出将对于齐的多源科学数据以及获取的科学常识从观点层以及实例层对于齐后再次交融到一个全局视图的全景化常识图谱中[23]。 起首，需要于已经有的科学数据长进行常识交融，需要对于已经无数据中的观点以及实例举行对于齐[24]；其次，基在上述两个研究根蒂根基，对于从开源数据中获取的不雅测方针科学常识与已经知的不雅测数据库举行再一次常识的对于齐验证，一样需要从观点以及实例两个条理来完成，因为需要较强的不雅测范畴配景常识，也为了利便办事在科学事情者，哄骗众包技能或者者交互设计技能将人工部门融入到集成历程中来[25]，使患上交融后的常识品质获得有用节制；末了，基在交融后的终极常识图谱设计链接猜测要领，好比哄骗图嵌入式进修或者暗示进修要领举行标注缺掉数据的标签猜测，以便补全不雅测方针常识中的缺掉或者漏掉部门。 4 年夜范围科学数据的协夹杂存储 于科学范畴不雅测孕育发生的数据重要办事在及时智能的科学发明，可是跟着数据源源不停到来，体系依然需要将数据举行持久存储，以提供智能阐发层、数据交融层以及上层科学家查询。因为科学场景的查询具备典型的时空局部性，是以，本节重要研究高效的科学数据存储框架以及查询机能优化。 4.1 时空优化的多级存储架构 及时性以及倏地性是智能治理场景下科学数据持久存储的焦点要求。而传统的持久科学数据的治理，重要研究方针是批式年夜数据治理体系，不克不及够满意智能治理的及时性以及倏地性。新的采样数据不停到来，体系不只需要及时地处置惩罚以及查询这些数据，并且需要长期化地生存汗青数据，以便撑持数据的全时态查询与阐发。 针对于科学数据的时间以及空间特征，可以经由过程使用内存或者高速存储装备实现表里存协同存储，并联合科学数据的时空相干性举行优化。经由过程时空优化的多级表里存协同存储与索引机制可以将差别时间段的数据合理存放以统筹及时性以及空间耗损，从而实现科学年夜数据倏地长期化，图4即为表里存协同多级存储架构。 
图4 表里存协同多级存储架构 经由过程事前存储供堆积阐发使用的粗粒度概要数据，并使用精度感知存储机制，于适量放宽查询的精度要求下拜候类似或者者部门概要数据来给出可以接管的成果，以提高查询阐发机能。 4.2 运转时体系主动化配置 面向智能治理的科学查询需要及时性约束（出格是针对于短时间汗青数据），因为不雅测周期的限定，每一次倡议的查询最佳能于一次不雅测周期内完成，以确保查询成果可以或许用在下次数据处置惩罚，即查询延迟要小在给定的时间限定[26]。 因为科学查询是繁杂多变的，对于满意及时性的体系资源的要求也是差别的，若体系资源配置分歧理，会严峻影响体系查询的总体延迟。可以构建增量机能模子的体式格局猜测查询延迟，运转时特性可以包孕查询范围、查询算子、体系配置、资源使用等。终极经由过程猜测的延迟选择适合使命配置与调优要领，包管于尽可能满意及时性的前提下资源耗损最小，末了倏地实现新配置方案的部署。 5 总结与瞻望 科学数据进入信息富厚的年夜数据时代，其具备多样性以及繁杂性特色，今朝的年夜数据阐发要领重要依靠在通例的尺度数据类型，缺少科学数据一体化阐发系统。此外，科学数据的同一表达、建模、操作计较要领较着短缺，难以实现多维度、多标准的科学数据常识交融与阐发，使患上科学家于科学事务验证时面对效率低、耗时久的瓶颈。科学年夜数据的持久存储以及高效查询也是今朝科学发明事情面对的主要问题。 要实现科学数据智能发明与治理由应战到机缘的华美回身，就需要提出新的发明与治理框架。本文从数据治理的角度提出科学数据发明与治理框架，将科学数据智能治理分化为智能阐发、常识交融、数据存储三个层面，为年夜范围科学数据智能发明打开了新窗口，为科学范畴的不雅测以及科学事务的发明提供了新思绪。 可预感的将来，年夜科学装配蓬勃成长，面向差别的科学方针孕育发生的科学数据形态万千，需要的阐发技能也是不尽不异的，假如都从零最先组织科学年夜数据阐发体系，不只研策动辄几年，并且泯灭年夜量人力物力且不具有复用性。是以，对于部件的复用显患上至关主要。事实上，修建范畴中北宋李诫的《营建法度》就提出了 凡构屋之制，皆以材为祖 的理念，元件 材 为根蒂根基的思惟道出了中国古修建的魂灵，即尺度件、模数化以及装置式，实现了营建效率、成本以及修建雅观的内涵均衡，这是古代匠人的永恒聪明。对于科学年夜数据来讲，是否存于一种 营建法度 ，经由过程设置装备摆设科学计较元件库，以实现年夜型繁杂的科学阐发体系可以或许像古修建般高效构建且反复哄骗， 多快好省 地撑持科学发明，这就是值患上思索的主要标的目的之一。 参 考 文 献 [1] 黎建辉, 沈志宏, 孟小峰. 科学年夜数据治理:观点、技能与体系. 计较机研究与成长, 2017, 54(2): 235 247. [2] Ivezic Z, Kahn SM, Tyson JA, et al. LSST: from science drivers to reference design and anticipated data products. The Astrophysical Journal, 2019, 873(2): 44. [3] Yang C, Meng XF, Du ZH. Cloud based Real-Time and low latency scientific event analysis. Big Data, 2018, 498 507. [4] Yang C, Meng X, Du Z, et al. Data Management in time-domain astronomy: requirements and challenges. BigSDM, 2018, 32 43. [5] 孟小峰, 慈爱. 年夜数据治理:观点、技能与应战. 计较机研究与成长, 2013, 50 (1): 146 169. [6] 杨晨, 翁祖建, 孟小峰, 等. 天文年夜数据应战与及时处置惩罚技能. 计较机研究与成长, 2017, 54 (2): 248 257. [7] 孟小峰, 杜治娟. 年夜数据交融研究:问题与应战. 计较机研究与成长, 2016, 53 (2): 231 246. [8] Wan M, Wu C, Wang J, et al. Column store for GWAC: a high-cadence, high-density, large-scale astronomical light curve pipeline and distributed shared-nothing database. Publications of the Astronomical Society of the Pacific, 2016, 128(969): 15. [9] Medvedev D, Lemson G, Rippin M. SciServer compute: bringing analysis close to the data. Proceedings of the 2016 ACM International Conference on Scientific and Statistical Database Management, 2016, 27: 1 4. [10] Chandola V, Banerjee A, Kumar V. Anomaly detection: a survey. ACM Computing Surveys, 2009, 41(3): 1 58. [11] Malhotra P, Vig L, Shroff G, et al. Long short term memory networks for anomaly detection in time series. // European Symposium on Artificial Neural Networks, 2015. [12] Movahedinia R, Chaharmir MR, Sebak AR, et al. Realization of large dielectric resonator antenna ESPAR. Ieee Transactions on Antennas and Propagation, 2017, 65(7): 3744 3749. [13] Ding D, Zhang M, Pan X, et al. Modeling extreme events in time series prediction.// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery Data Mining, 2019, 1114 1122. [14] Feng TZ, Du ZH, Sun YK, et al. Real-time anomaly detection of short Time-Scale GWAC survey light curves.// IEEE 6th International Congress on Big Data, 2017, 224 231. [15] Deelman E, Gannon D, Shields M, et al. Workflows and e-Science: an overview of workflow system features and capabilities, 2009, 25(5): 528 540. [16] Zhang YF, Thorburn PJ, Xiang W, et al. SSIM-A deep learning approach for recovering missing time series sensor data. IEEE Internet of Things Journal, 2019, 6(4): 6618 6628. [17] Arous I, Khayati M, Cudre-Mauroux P, et al. RecovDB: accurate and efficient missing blocks recovery for large time series.// 2019 IEEE 35th International Conference on Data Engineering, 2019, 1976 1979. [18] Si妹妹han YL, Plale B, Gannon D. A survey of data provenance in e-science, 2005, 34(3): 31 36. [19] Dong X, Gabrilovich E, Heitz G, et al. Knowledge vault: a web-scale approach to probabilistic knowledge fusion.// Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining, 2014, 601 610. [20] Dong XL, Srivastava D, Acm S. Knowledge curation and knowledge fusion: challenges, models, and applications// Proceedings of the 2015 Acm Sigmod International Conference on Management of Data, 2015, 2063 2066. [21] 王雪鹏, 刘康, 何世柱, 等. 基在收集语义标签的多源常识库实体对于齐算法. 计较机学报, 2017, 40(3): 701 711. [22] Kong C, Gao M, Xu C, et al. EnAli: entity alignment across multiple heterogeneous data sources. Frontiers of Computer Science, 2019, 13(1): 157 169. [23] 王硕, 杜志娟, 孟小峰. 年夜范围常识图谱补全技能的研究进展. 中国科学:信息科学, 2020, 50(4): 551 575. [24] Ren X, Wu ZQ, He WQ, et al. CoType: joint extraction of typed entities and relations with knowledge bases// Proceedings of the 26th International Conference on World Wide Web, 2017, 1015 1024. [25] Doan A, Ardalan A, Ballard JR, et al. Human-in-the-Loop challenges for entity matching: a midterm report. ACM HILDA, 2017, 12:11 16. [26] Wang CK, Meng XF, Guo Q, et al. Automating characterization deployment in distributed data stream management systems. IEEE Transactions on Knowledge and Data Engineering, 2017, 29(12): 2669 2681. 出格声明：本文转载仅仅是出在流传信息的需要，其实不象征着代表本消息网不雅点或者证明其内容的真实性；如其他媒体、消息网或者小我私家从本消息网转载使用，须保留本消息网注明的 来历 ，并自大版权等法令义务；作者假如不但愿被转载或者者接洽转载稿费等事宜，请与咱们联系。/江南