您所在的位置:首页 > 嵌入式技术 > 设计应用 > 博士国际游戏环境下博士国际游戏关键技术分析
博士国际游戏环境下博士国际游戏关键技术分析
2017年世纪娱乐注册第2期
李少波1,2,陈永前1
1.贵州大学 现代制造技术教育部重点实验室,贵州 贵阳550025;2.贵州大学 机械工程学院,贵州 贵阳550025
摘要: 随着博士国际游戏与物联网、云计算、互联网等信息技术的融合与发展,博士国际游戏已进入了博士国际游戏时代,在博士国际游戏环境下,制造技术将发生巨大的进步与改革。从博士国际游戏下的博士国际游戏数据特点出发,勾画了博士国际游戏的博士国际游戏技术架构,并重点分析了博士国际游戏下博士国际游戏的五大关键技术,即数据集成技术、数据存储技术、数据处理技术、数据分析技术以及数据展现技术,为博士国际游戏博士国际游戏的发展提供参考。
中图分类号: TP391
文献标识码: A
DOI:10.16157/j.issn.0258-7998.2017.02.002
中文引用格式: 李少波,陈永前. 博士国际游戏环境下博士国际游戏关键技术分析[J].世纪娱乐注册,2017,43(2):18-21,25.
英文引用格式: Li Shaobo,Chen Yongqian. Analysis on key technologies of manufacturing industry in big data environment[J].Application of Electronic Technique,2017,43(2):18-21,25.
Analysis on key technologies of manufacturing industry in big data environment
Li Shaobo1,2,Chen Yongqian1
1.Key Laboratory of Advanced Manufacturing Technology,Ministry of Education,Guizhou University,Guiyang 550025,China; 2.School of Mechanical Engineering,Guizhou University,Guiyang 550025,China
Abstract: With the integration and development of manufacturing and Internet of things(IoT), cloud computing, Internet and other information technology ,the era of big data in Manufacturing Industry has coming. In the big data environment, manufacturing technology will be a huge progress and reform. The paper starting from the characteristics of manufacturing data, outlining the technology framework of big data in manufacturing industry, and mainly analyzing the five key technologies of manufacturing industry under the big data,which are big data storage technology, big data processing technology, big data analysis technology and big data display technology, and provide reference for the development of big data in industry.
Key words : manufacturing industry;big data;intelligent manufacturing;博士国际游戏

0 引言

博士国际游戏(Big Data)这一概念的提出最早可以追溯到上世纪80年代[1],当时并没有得到人们的关注。直到2008年,著名杂志Nature出版了专刊《Big Data:Science in the Petabyte Era》[2],从经济学、互联网技术、环境科学等多个领域介绍海量数据带来的挑战。从此博士国际游戏一词被广泛传播,受到了各个国家、政府及各界的广泛关注与研究,并在IT、金融、互联网等行业得到了较大的发展与利用[3]

博士国际游戏作为国家经济支柱性产业,是我国综合国力的表现,充分地应用和挖掘博士国际游戏中的数据逐渐成为行业研究和讨论的热点[4]。博士国际游戏具有地理分布广泛,制造类型多,制造过程复杂多样,涉及领域广等众多特点,是人类社会中最复杂的行业之一,这决定了博士国际游戏将产生庞大的数据量,且有着类型丰富、结构多样、增长速度快等特点,是一个典型的行业博士国际游戏体现,以一个的典型的纺织制造企业来说,光是一个制造车间一天的数据量都将达到84 GB[5]。在博士国际游戏这种庞大的数据量与爆炸式的增长新形势下,传统的博士国际游戏技术将不再够用,不能满足制造行业从海量数据中快速获取知识与信息的需求。因此,在博士国际游戏环境下,制造技术将发生巨大的进步与改革。

1 博士国际游戏下的博士国际游戏数据特点

1.1 博士国际游戏下的博士国际游戏数据来源

博士国际游戏不仅仅是一种数据处理技术,而是一种总体视角的体现,是一种综合关联性分析,发现具有潜在联系之间的相关性,如将博士国际游戏单独割裂来看,则博士国际游戏的大价值无从体现[6]。因此在进行博士国际游戏博士国际游戏分析时,必须全面地考虑博士国际游戏的数据来源。在互联网、物联网、移动互联等技术快速发展的今天,博士国际游戏的数据来源不仅包括了产品设计与开发、产品加工与设备运行、仓库管理等行业数据,同时还包含了市场、客户关系、政府计划、互联网等外部数据。博士国际游戏博士国际游戏来源如图1所示。

zs2-t1.gif

1.2 博士国际游戏下的博士国际游戏数据特点

“博士国际游戏”一词在业界都被普遍认为有着“3V”特征[7],即Volume(容量大)、Variety(种类多)、Velocity(速度快)。在博士国际游戏具有十分强的专业性、时序性、关联性、流程性等特点情况下,不仅拥有博士国际游戏的“3V”特征,而且还有以下特征[8-9]:(1)强相关与高维度性。博士国际游戏各个数据间往往相互关联相互耦合,从而构成一个复杂多变量的高维系统。(2)强烈的非线性。在产品的生产过程中的许多物理和化学变化都表现为不可测的、非线性的。(3)高噪声。互联网博士国际游戏主要在乎数据的统计显著性,对数据噪音并没有太大的要求,而对于博士国际游戏,只要出现一点差错,都会造成巨大的损失,因此数据的高噪音是博士国际游戏博士国际游戏不可忽视的。

2 博士国际游戏的博士国际游戏技术架构

博士国际游戏的博士国际游戏分析平台是根据业务的需求逐步勾画出来的[10]。针对博士国际游戏博士国际游戏的业务特点,博士国际游戏博士国际游戏平台在功能上应满足多种类型数据的采集与导入,能存储海量的、多样的、多类型的博士国际游戏博士国际游戏,支持多种类型的数据分析方法和数据展示方法。从性能方面考虑,博士国际游戏博士国际游戏平台总架构应满足可扩展性、高错容性与可靠性、实时性、较好的安全性以及低成本等要求[11]

在制造过程中,对博士国际游戏的实时分析与处理,对制造过程的实时决策及实时控制,是企业生产安全有序进行、及时决策、提高效率、减少损失的重要保障[12]。另一方面,博士国际游戏是一个高维非线性的复杂性行业,一个普通的制造企业,其内部就包含着许多子系统,例如制造执行系统(MES)、企业资源计划(ERP)、产品数据管理(PDM)等。每一个子系统往往又包含着许多业务流程,产生着大量的数据,甚至可以单独构成一个领域的博士国际游戏,例如供应链管理博士国际游戏就是博士国际游戏在供应链的一个应用[13]

综上,根据博士国际游戏实际需求和业务状况相结合,勾画出博士国际游戏博士国际游戏技术架构如图2所示。在该架构中,系统先将各种来源的数据进行集成处理,再根据对各部分数据的要求与特点选择不同的处理方式,并根据业务的需求进行分析,最后用不同的数据展现方式将信息传达给各个应用系统。

zs2-t2.gif

3 博士国际游戏下的博士国际游戏关键技术

3.1 博士国际游戏集成技术

    数据集成技术就是把不同来源、格式、特点、性质的数据在逻辑上或者物理上有机地集中,为系统存储一系列面向主题的、相对稳定的、反映历史变化的数据集合,从而为系统提供全面的数据共享[14]。博士国际游戏的集成技术是解决制造企业各系统间的数据沉余和“信息孤岛”的重要工具。按照数据集成点不同,可以将其分为源端和应用端数据集成。

(1)源端数据集成。在制造企业中,数据来源十分广泛,数据格式复杂,不仅有传统的内部生产数据,还有市场数据、客户关系数据、价值链数据等。面对重多的数据来源和格式,如果直接将其进行博士国际游戏分析,不但会导致分析速度的下降,而且还会影响数据分析的质量[15],因此在数据分析前将数据集成为统一格式是博士国际游戏博士国际游戏分析的重要步骤。源端数据集成如图3所示。

zs2-t3.gif

(2)应用端的数据集成。博士国际游戏内部存在许多应用系统,例如生产应用、供应链应用、定制应用等,不同的应用系统间往往有不同的数据库和数据形式,且各个应用系统之间的数据一般只能供自己使用,而这样就很容易产生信息孤岛。对应用端数据进行集成将会利于各个部门与系统间的信息共享,避免企业信息孤岛的产生。应用端数据集成如图4所示。

zs2-t4.gif

3.2 博士国际游戏存储技术

博士国际游戏下的博士国际游戏对数据存储将面临着以下挑战:(1)存储数据量大,博士国际游戏博士国际游戏量将达到PB级别甚至更高;(2)博士国际游戏博士国际游戏来源广,数据形式和数据结构都比较复杂;(3)满足数据的完整性;(4)数据读取和写入速度应达到业务的需求;(5)具备可扩展性。显然,传统的数据库明显有点力不从心,博士国际游戏博士国际游戏的存储还要寻求新的方法。分布式文件系统是博士国际游戏时代数据存储最好的工具,比较有代表性的分布式文件系统当属博士国际游戏的HDFS[16]。HDFS是受到Google文件系统(GFS)的启发而构建的,有着支持超大文件、低延迟数据访问、高错容性、可扩展、可运行在普通机器上等优点[17],HDFS的工作原理如图5所示[10] [18]

zs2-t5.gif

3.3 博士国际游戏处理技术

博士国际游戏的博士国际游戏处理技术主要包含了批处理、流处理和内存计算[19],分别满足博士国际游戏博士国际游戏处理的不同需求。

3.3.1 批处理技术

目前最主流的批处理技术当属Google公司在2004年提出的MapReduce分布式计算模式,基于该框架写出来的应用程序可以在普通机器群集上运行,能够轻松地处理TB级别以上的数据集,且有良好的错容性。

在MapReduce中,一个计算流程分为map和reduce两个阶段。在map阶段,其输入文件(Input file)往往会被划分为固定大小的输入块(split)。每个块都会对应着一个map任务,该map任务中的map函数会作用于split中的每一个记录(record),一个记录就是一个键值对。map任务完成后,其结果(键值对)会被进行分区(partition),然后暂时写入到磁盘中,为reduce阶段做准备。在reduce阶段,map阶段的每个partition都会被分配至某个reduce任务,等到reduce阶段处理完成后,其结果将会被存入到分布式文件系统(HDFS)中。MapReduce整个处理流程如图6所示[12]

zs2-t6.gif

3.3.2 流处理技术

批处理技术对大批量静态的数据处理是有效的,然而在制造企业中,不光要处理大批量的静态数据,而且还要处理像生产监控数据、故障警报数据等动态和大批量小数据。

流处理(Stream Computing)技术对这种数据的处理往往是非常有效的[20]。当有数据到来时,流处理工具就应该立刻响应,然后把处理后得到的信息马上呈送给用户或系统,这种数据处理无须数据准备时间,从而有很好的实时性。目前,流处理计算框架主要有:Apache S4、Storm、Scribe、Kafka等,下面用比较主流的S4进行介绍。

S4(Simple Scalable Streaming System)[21-22]是一个分布式流计算模型,S4有着良好的通用性、可扩展性、错容性等优点。S4在对数据处理时,将数据流看成是事件(Event)的序列流。每个Event是一个(K,A)元素,通过EventType来标示其类型。K、A分别表示这种类型的 Event的若干个关键字和若干个属性。在这种抽象的基础上,设计者将Processing Elements(PE)定义为S4中的最小数据计算单元。每个PE只负责处理Event type、属性Key和属性Value都匹配的事件,并最终输出结果或新的(K,A)元素。每个S4都包含有若干个这样的PE,当数据到来时,便立刻共同作业,完成数据流的处理。

3.3.3 内存计算

内存计算技术,就是指CPU直接从内存上读取数据,并进行计算、分析。内存计算大大减少了从硬盘读取数据的时间,是对传统数据处理模式的一种速度提升。比较有代表性的内存计算系统有SAP HANA、Oracle Exadata和IBM pureData。

较批处理与流处理来说,内存计算的最大优势就在于其处理数据的速度,从而决定了内存计算非常适合需要实时获得结果的数据,是博士国际游戏博士国际游戏分析和数据处理中的关键应用技术之一。 内存计算的原理非常简单,如图7所示[20]

zs2-t7.gif

3.4 博士国际游戏分析技术

博士国际游戏技术的根本驱动力是将信号转化为数据,将数据分析为消息,将消息提炼为知识,以知识促成决策和应用[24]。经过数据的集成与处理后,所得的数据便成为数据分析的原始数据,根据业务的需求与应用,再对数据进一步的分析,最后得到所需要的知识。

传统意义上的数据分析技术是先将数据进行存储,然后对数据进行筛选,建立数据中心,在此基础上建立数据仓库,再根据业务需求来进行联机分析处理(OLAP)[11]。这种方法对于结构复杂、实时性要求高,分析程度较深的博士国际游戏博士国际游戏来说是无能为力的。根据博士国际游戏博士国际游戏的数据特点与业务要求,博士国际游戏博士国际游戏的数据分析主要面临的困难是大量非结构化复杂数据分析和实时预测分析。因此可以利用以下思想去解决博士国际游戏博士国际游戏的分析难题:(1)对数据进行处理。在面临结构复杂的博士国际游戏时,利用粒化思想,将博士国际游戏进行粒分,变博士国际游戏为小数据后再进行分析;(2)加强对新一代数据分析工具的利用与研究。例如EMC的GreenPlum数据分析工作台、Teradata的Aster Data平台等;(3)通过人工智能和机器学习等技术分析博士国际游戏[24]

3.5 博士国际游戏展现技术

博士国际游戏的博士国际游戏展现技术可以分为制造过程数据展现技术、历史数据展现技术及可视化技术。

制造过程数据展现技术是博士国际游戏博士国际游戏展现技术的关键部分。随着制造物联的快速发展,制造企业会产生大量生产现场实时数据,如果将这些实时数据实时展现出来,那么就可以清晰地了解到生产现场的实时变化情况,这样不仅提高了企业的生产效率,而且能完善企业的资源配置,是实现智慧生产的重要步骤。

历史数据展现技术主要体现在博士国际游戏对历史数据的管理和展示上,这里的历史数据一般指对实时性要求不是太强的数据,例如企业生产历史数据、客户关系数据、竞争对手数据等。企业对历史数据分析展现,可以绘制出数据的发展趋势并预测出未来的数据走势,可以模拟历史重大事件发生与演变,挖掘历史事件潜在的知识与规律。

数据可视化技术是指运用计算机图形学和图像处理技术,将数据转换为图形或图像在屏幕上显示出来,并进行交互处理的方法和技术[25]。博士国际游戏的复杂性、多系统性决定了数据的分析结果会呈现出多维的特点。数据可视化技术正是解决这一系列问题的,它以一种简单易懂的方式将复杂的数据呈现给我们,不仅让我们更容易去理解数据,而且对发现数据中新的信息也起到非常关键的作用。目前常见的可视化技术有Tag cloud、History flow、Spatial information flow等。

4 结语

“中国制造2025”和德国“工业4.0”纷纷指出博士国际游戏是博士国际游戏未来的发展趋势,而博士国际游戏技术则是助力实现博士国际游戏不可缺失的一把利剑。将来,制造技术不光是指传统的机械加工等技术,而是一种集博士国际游戏与互联网、物联网、移动互联、博士国际游戏、云计算等信息技术为一体的新局面,这是博士国际游戏智能化、绿色化的必要前提。博士国际游戏技术已广泛使用在互联网、电商、金融等行业,并创造了较大的商业价值,然而对于博士国际游戏来说,乃处在起步甚至是研究阶段。因此,大力发展博士国际游戏博士国际游戏技术,挖掘博士国际游戏博士国际游戏的最大价值,促进博士国际游戏的转型升级将是制造企业下一阶段的重要任务与课题。

参考文献

[1] 迪莉娅.我国博士国际游戏产业发展研究[J].科技进步与对策,2014,31(4):56-60.

[2] MANYIKA J,CHUI M,BROWN B,et al.Big data:the next frontier for innovation,competition,and productivity[M].New York:Mc Kinse & Company,2011.

[3] EKBLA H,MATTLOLL M,KOUPER I.Big Data,Bigger Dilemmas:A Critical Review[J].Journal of the Association for Information Science and Technology,2015(8).

[4] 王冰.大型流程工业集团级生产数据平台的应用探讨[J].科技与企业,2014(1):129-130.

[5] 邵景锋,贺兴时,王进富,等.博士国际游戏环境下的纺织制造执行系统设计[J].机械工程学报,2015(5):160-170.

[6] 中国电机工程学会信息化专委会.中国电力博士国际游戏发展白皮书[M].北京:中国电力出版社,2013(11).

[7] Bello-Orgaz G,JUNG J J,CAMACHO D.Social big data:Recent achievements and new challenges[J].Information Fusion,2015(8).

[8] 杨水利,梁永康.制造企业服务化转型影响因素扎根研究[J].科技进步与对策,2016,33(8):101-105.

[9] KRUMEICH J,SCHIMMELPFENNIG J,JACOBI S.Advanced planning and control of manufacturing processes in steel industy though Big Data analytics[J].2014 IEEE International Conference on Big Data:2014.

[10] 赵刚.博士国际游戏技术与实践指南[M].北京:电子工业出版社,2013.

[11] 王淑芬.基于博士国际游戏的制造运行监测与分析平台研究[D].广州:广东工业大学,2014.

[12] 杨正益.制造物联海量实时数据处理方法研究[D].重庆:重庆大学,2012.

[13] 郭伟.博士国际游戏及其在供应链中的应用.供应链管理[J].2015(5):200-220.

[14] 彭小圣,邓迪元,程时杰,等.面向智能电网应用的电力博士国际游戏关键技术[J].中国电机工程学报,2015(2):503-511.

[15] 楼巍.面向博士国际游戏的高维数据挖掘技术研究[D].上海:上海大学,2013.

[16] Apache.HDFS Architecture.http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/Hdfs Design.html#Introduction.

[17] 蔡斌,陈湘萍.博士国际游戏技术内幕:深入解析博士国际游戏 Common和HDFS架构设计与实现原理[M].北京:机械工业出版社,2013.

[18] WHITE T.博士国际游戏:The Definitive Guide[M].O’Reilly Media,Inc,1005 Gravenstein Highway North,Sebastopol,CA95472,2009(7).

[19] KUMAR R.Two computational paradigm for big data[EB/OL].2012,http://kdd2012.sigkdd.org/sites/images/summerschool/Ravi-Kumar.pdf.

[20] 徐飞.博士国际游戏流的实时处理研究[D].无锡:江南大学,2014.

[21] 崔星灿,禹晓辉,刘洋,等.分布式流处理技术综述[J].计算机研究与发展,2015,52(2):318-332.

[22] Aga.J.Yahoo!S4分布式流处理引擎分析总结[EB/OL].http://www.cnblogs.com/aga-j/archive/2012/02/03/233-7151.html.2012(2).

[23] 孙柏林.“博士国际游戏”技术及其在电力行业中的应用[J].电气时代,2013(8):18-23.

[24] 工业和信息化部电信研究院.博士国际游戏白皮书(2014年)[R].工业和信息化部电信研究院,2014(5).

[25] 唐泽圣,陈莉,邓俊辉.三维数据场可视化[M].北京:清华大学出版社,1999:1-6.



作者信息:

李少波1,2,陈永前1

(1.贵州大学 现代制造技术教育部重点实验室,贵州 贵阳550025;2.贵州大学 机械工程学院,贵州 贵阳550025)

此内容为AET网站原创,未经授权禁止转载。