中航机载共性使用 IoTDB 预计节省百万存储成本,端边云架构实现机载制造系统协同
1. 中航机载共性业务场景
中航机载系统共性技术有限公司(以下简称中航机载共性)隶属于中国航空工业集团有限公司(中央管理的国有特大型企业),是航空工业为推进落实国家重大战略,实现机载系统研制战略转型、健康发展而全资设立的直属研究机构,是航空机载产业关键共性技术研究的国家队。中航机载共性主要通过机载系统关键共性技术研究,制定机载系统研制体系,研发机载系统研制管理及工具系统、机载系统研制的仿真验证系统,建立支持机载系统协同研制与生产制造的工业互联网环境,并通过该环境向用户提供相关服务。
机载系统智能制造是在数字化技术和制造技术的深度融合的背景下,根据分配至系统的飞机级需求,通过对数字化设计、数字化生产、数字化管理及人工智能技术等的综合运用,实现对机载系统产品快速生产,进而制造出满足用户需求、适航要求、商业成功的机载产品的全过程。目前随着多类民机型号研制的全面推进,我国民机产业发展迎来关键时期,而在机载系统的智能生产制造环节目前国内存在空白,迫切需要实现以智能制造体系及标准规范为引领、以关键制造系统智能化为核心、以工业互联网为支撑、以智能工厂为应用对象、以最终产品满足适航要求获得商业成功为最终目标的机载系统智能制造系统,解决机载系统的生产制造问题,并开展应用示范,从而实现机载系统生产制造的自主可控,为机载产业战略转型提供支持。
因此,中航机载共性构建了面向机载系统产品生产制造的智能云制造系统,覆盖云、边、端多层级,完成了端侧智能化工厂数据采集,边缘侧数据预处理和云端播发,云侧数据中心、协同管控、智慧决策等多个子系统构建,实现异地工厂端与云中心侧的分布式数据互通和统一管理。基于 IoTDB 自身的先进特性,中航机载共性选择 IoTDB 作为智能云制造系统,实现海量制造、产能数据低延迟采集、低成本存储、多场景治理,达到制造过程云化、资源供给中台化、数据应用智能化。
2. 业务需求痛点
2.1 云制造设备层次复杂
智能云制造系统涵盖机电、航电、飞控等领域,各领域包含能源、雷达、电子显示等多类子系统,各子系统又包含多个模块(如控制系统可能包含发动机控制、飞行导航等模块),多品种、小批量的生产模式使系统的组织结构和产品的交联关系相对庞杂。因此,智能云制造系统数据层级关系、数据结构复杂,亟需层次化高效存储模式。同时现场设备协议、接口多样化,难适配,需要强大的协议库生态实现对现场各种工业设备的协议支持。
2.2 现场数据质量差,查询难
机载产品工业现场环境复杂多变,由于数据同步周期不一致、系统延时、网路阻塞、弱网断连等问题,会导致大量乱序数据产生;由于采集设备故障、现场设备宕机、网络中断、工人误操作等问题,也可能导致数据缺失。乱序和缺失的原始数据导致数据存储和查询效率低下,亟需数据库软件有效对原始数据进行预处理。
2.3 数据量巨大,存储成本高
航空设备安全性要求极高,适航审定对制造和设计的一致性要求高,迫切需要大量数据支撑。而考虑数据备份等安全措施,智能云制造数据存储成本也相对较高。以每家工厂接入终端设备为 200 台,每台设备传感器可采集物理量点位数 25 个,每个测点变量所占空间为 22 字节,数据频率为 2Hz 的最小值测算,每年所需存储空间约 176.68 TB,考虑存储服务器的高可用性备份,需每年至少新增约 350 TB的存储空间,粗略估计耗资逾百万,亟需实现高效数据压缩,降低存储成本。
3. 选型 IoTDB 原因
IoTDB 由于其存储结构、数据接口、异常数据处理、压缩比、用户功能函数(UDF)上的优势,经中航机载共性评估,能全方位解决工业实时数据获取、存储和查询问题。
3.1 业务适配的存储结构
针对云制造复杂系统关联的工业数据库存储问题,IoTDB 的树状 Schema 架构以物联网常用层级(设备、测点等)存储数据,和当前机载制造的“系统-子系统-模块-制造单位-工厂-产线-设备-传感器”的多层次结构相符,降低开发/运维人员理解成本,便于智能云制造系统进行数据管理、数据查询与架构扩容。
3.2 支持多协议数据接口
针对机载产品制造现场设备协议、接口多样化,难适配的问题,IoTDB 生态提供了多种类的数据接口,如 MQTT、HTTP、ModBus 等,且团队联合业内多家单位持续进行工业协议开发,能支持智能云制造系统多种类、多协议的数据采集、协议迁移和适配。
3.3 乱序、缺失数据有效处理
针对智能云制造系统乱序数据、缺失数据导致存储、查询难度大的问题,IoTDB 针对数据乱序到达实现了多种优化,如写前保序、写后重排、时间序列对齐等多种手段,在存储层面消除乱序数据,避免影响后续操作。同时,针对数据缺失,IoTDB 提供了用于插值计算的 UDF,可方便地进行数据补齐。
3.4 实现高压缩比,高效数据清洗
针对智能云制造系统数据量巨大,存储与传输成本高的问题,IoTDB 提供稀疏索引机制和多元序列存储机制,能够实现海量数据的高速写入和查询,并且可基于数据特征可进行多种类型的数据压缩,能实现高压缩比,降低存储成本。同时,IoTDB 提供的数据清洗 UDF 能够一键进行边缘数据清洗,有效减少云端和通信链路的数据传输压力。
4. 解决方案架构
中航机载共性构建的智能云制造系统囊括端侧制造现场、边缘层数据处理、云侧数据智慧管理多层级,覆盖了机载智能制造数据流通全链路,包括设备数据采集、边缘网关转发、分布式数据存储、企业业务效能评估、数据分析建模、可视化预测监控、智慧决策应用等功能模块,以便实现对于工厂现场制造、加工、物流等设备数据的边缘采集及边缘处理需求、生产制造过程中产生数据的完整高效存储需求、及对云上业务系统与数据中心的数据交互、调用需求。因上述 IoTDB 选型优势,中航机载共性将 IoTDB 应用于机载智能云制造系统的研制过程中,在端、边、云三方面的相关系统平台中均进行了采集、存储、应用的落地实践。
在端侧制造现场,中航机载共性基于通用数据协议的统一数据采集框架(协议库),构建了航空工业现场专用数据采集流程。IoTDB 兼容 OPC UA、ModBus、MQTT 等多类现场采集协议,并可稳定保持千万数据点秒级写入吞吐量,能够进行工厂侧数据全量、长时间本地缓存,并提供乱序、缺失数据预处理等功能。同时,中航机载共性研发了多种构形的数据采集套件,部署到位于南京、上海、西安的多个智能工厂中。IoTDB 应用于多类采集套件,帮助实现多协议数据解析及边缘层数据存储,处理结果可进一步支持健康监控、指令下发等下游功能。
在云侧数据层,中航机载共性将 IoTDB 作为核心组件,应用于多个分布式数据中心中。分布式数据中心将仪表、设备、MES、ERP 等数据源通过流处理与批处理汇总进入包括结构化数据、非结构化数据的数据湖进行存储,并通过多类规则定义与建模验证进行进一步的数据治理,再通过流处理与批处理进行数据成果应用。分布式数据中心搭建 IoTDB 集群,依靠 IoTDB 的行列混合存储特性实现高速时序数据写入,并运用 IoTDB 的 TsFile 的数据特征分列存储特性,实现高压缩比时序数据存储。同时,IoTDB 可与数据中心中的 Flink 组件、HDFS 组件无缝集成,有效打通时序数据上下游生命周期,实现高效分布式数据集成。
在云侧企业层及智慧层,数据应用系统中的大数据分析平台、数字孪生系统、可视化服务中心,协同管控系统中的制造业务管理系统、生产效能管理系统均使用 IoTDB 进行数据采集、存储,为智能云制造系统实现计划管理、质量管理、适航管理、智慧排产等降本增效功能提供底层数据支撑。
5. 应用场景举例
面向航空机载云制造场景全流程,本文选取了不同层级的应用系统作为场景举例,涵盖应用层的数据应用系统、协同管控系统,产线层的 PCS 产线管控系统,与设备层的核心参数灰度预测。
5.1 应用层 - 协同制造管控及数据应用子系统
通过 KAFKA 协议和 HTTP 协议,IoTDB 负责存储大数据分析平台、数字孪生系统、可视化服务系统、制造业务管理系统、生产效能管控系统中的多类生产流程、产能监控、订单情况的实时数据,包括建模阶段及入库状态、工艺流程、工序准备及加工时间、设备状态参数、供应商信息、订单信息、生产成本、产能负荷、合格品数量、不良率、使用率、直通率等,方便后期进行数据分析,实现智能云制造系统对生产流程的智慧决策与产能优化。
IoTDB 相比中航机载共性以前的数据存储方案实现了多项优化,如支持数据直取直用,可以保障数据被消费的同时进行数据存储,且不影响写入存储和查询分析性能。同时,中航机载共性生产数据之前为即用即丢模式,或采用覆盖模式在关系型数据库中存储,无法回溯历史记录,且因数据体量庞大,仅支持存储部分主要指标项。引入 IoTDB 后,多类系统平台数据可高效完成全量指标存储及历史数据回溯。
5.2 产线层 - PCS 产线管控系统
面向产线级的数据分布式采集,中航机载共性使用 IoTDB 实现了对于 PCS 产线管控系统相关数据的采集、存储、管控。通过 MQTT 协议,IoTDB 负责存储海量产线设备运维数据,如生产设备编号、设备运行状态、进给倍率、实际进给速度、主轴倍率、主轴负载、主轴转速、机械臂状态等,以加强产线生产效能控制,保障设备实时检修与产能最大化。
之前中航机载共性产线层仅配备 SQL Server 数据库,写入与存储性能十分受限,所以大量实时数据因暂时缺乏明确的使用需求,采用即用即丢模式。采用 IoTDB 后可以针对产线设备数据进行长期存储、毫秒级查询,同时也给工厂侧基于历史数据的预测类需求,如刀具寿命研究、预换刀研究提供了数据源,长线上帮助维持、提升产线效能。
5.3 设备层 - 设备故障灰度预测
中航机载共性基于 IoTDB 的 UDF 进行多类型的数据治理应用,并提供通用的数据管控、数据治理模型接口,实现多种对外服务形式。例如,基于 IoTDB 提供的 UDF 功能,中航机载共性实现了异常数据的灰度预测。针对智能云制造系统需要对生产过程进行异常数据预警、指标监控等需求,中航机载共性构建已知部分参数特征的灰度系统并形成模型算法,并采用 IoTDB 的 UDF 进行封装,方便工厂侧、设备侧的应用软件进行调用。选择对应工厂、设备需要预测的核心数据后,结合 IoTDB 采集存储的时序数据,可使用 UDF 方便地生成该数据未来趋势预测,判断是否超过阈值,实现快捷、准确的生产过程监测。
6. 应用效果及未来展望
以 IoTDB 为核心的智能云制造系统初期已完成对典型单位的有限范围推广使用。多家应用厂商均对 IoTDB 在降低存储成本、降低高安全数据链路成本、降低突发宕机事件、提高经营效率等方面的效用表示了认可,IoTDB 为各厂节省存储资源、服务费用 8 万元 - 74 万元不等,降低人工成本 20 - 40 人天,有效提高了各厂商的设备研制、测试、调试、故障数据采集和分析效率。
中航机载共性希望在未来能进一步推进 IoTDB 在航空制造领域的应用,通过接入更多的工厂及 IoTDB 在智能云制造系统构建更多的应用,向更多不同的工厂提供数据管理解决方案。同时希望构建组织级的制造大数据中心,通过不断扩容保障实时数据高效存储,最终形成基于 IoTDB 的行业解决方案,向不同单位进行推送,计划三至五年实现覆盖整个航空领域的智能制造产业链,形成完整解决方案生态。
未来,以每家工厂接入终端设备为 200 台,每台设备传感器可采集物理量点位数 25 个,每个测点变量所占空间为 22 字节(工厂代号占 4 字节、设备代号占 4 字节,时间戳占 6 字节,数据值占 8 字节),数据频率为 2Hz 的最小值测算,每年所需存储空间约 176.68 TB,每年至少新增约 350 TB的存储空间。按照市场存储空间收费 0.8/GB*h 计算,每年需要额外增加 336 万存储费用。IoTDB 数据库压缩率可达 10 倍,与 InfluxDB 相比,空间占用仅为其 30%,估计可节省硬件开支约 200 万元/年。
天谋科技简介
天谋科技(Timecho)成立于 2021 年 10 月,是行业领先的时序数据库管理系统及相关服务的提供商,现已获得近亿元人民币天使轮融资。公司由 Apache IoTDB 核心团队创立,团队聚焦大数据底层技术软件研发,针对企业组建物联网大数据平台时所遇到的数据体量大、采样频率高、数据乱序到达、分析需求多、存储与运维成本高等多种问题,为企业提供海量时序数据管理的高效解决方案。目前,其物联网原生时序数据库管理系统已在国家电网、国家气象局、中航成飞、中核集团、中国中车、长安汽车、金风科技等企业广泛应用。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。
关键词:
免责声明:本网站内容主要来自原创、合作媒体供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。
资讯排行榜
-
2023-05-10 10:27
-
2018-09-29 14:02
-
2018-09-29 14:04
-
2018-09-29 14:09
-
2018-09-30 09:15
资讯热门推荐
-
2023-05-10 10:27
-
2018-09-29 14:02
-
2018-09-29 14:04
-
2018-09-29 14:09
-
2018-09-30 09:15