Lightning System 介绍

研发背景

全球在智能制造、物联网进程的全面建设和推进过程中，智能制造企业爆发了大量的时间序列数据，包括生产设备运行数据、生产过程产品的质量检测/检验结果数据、已售产品运行状况数据、产品维护监控数据等。每日数据产生总量突破十亿级，日数据产生量超过 TB 体量，年产生的数据处理量超过 PB，大量的数据需要得到合理、有效、安全的存储，企业也期望数据可高速的取用、分析，充分的挖掘数据的潜在价值。在长期数据要求可查、可用、可追溯的基本需求背景下，各数据库产品均受到极大的挑战。企业面临了在数据平台的建设过中：

1. 业务变化带来的数据存储结构调整，数据结构修改难度高，无法兼容；
2. 对外数据接口方式单一，无法满足各类数据应用需求且访问性能低下；
3. 存储成本的大幅上升和后续投入的不可控增量成本；
4. 实施难度高，需要专业的技术研发人员投入大量时间对其进行研究、学习；
5. IT 构架复杂，各类软件系统部署混乱，维护难度增大；

Lightning System 介绍

Lightning System 是上海麦杰科技股份有限公司结合 23 年的工业实时数据库系统研发经验，针对工业时序数据特性，完全自主研发的工业时序数据库系统。它是一款专门为 PB 级海量数据处理打造的一体化解决方案。系统包含数据采集、数据存储、设备管理、容器管理、订阅推送中心、报警监
测、故障自监测与自恢复等功能。

主要功能模块

• LDB：Lightning Database 核心数据服务单元，用于负责数据接收完成后数据的持久化和数据应用任务。
• LCS: Lightning Cluster Service 集群的服务模块，用于调度和 Metadata 信息管理。
• LCM: Lightning Cluster Manage B/S 管理套件，提供图形化管理界面支持。
• LA: Lightning Agent 运维管理服务，提供自动运维管理相关的各项服务。
• 其他配套服务：
  • Lightning CLI 命令 SQL 操作行控制台
    

系统采用存算分离模式，LDB 为无状态服务，数据存储与计算任务分离，避免任意的计算节点故障导致的数据资源不可用情况。

主要特性及优势

容器化

基于 docker 容器技术架构和微服务思想进行构建，提供一键化部署 docker 容器服务环境、容器仓库管理、容器集群容错架构 swarm，在基于 docker 基础容器服务的环境上，简洁易用的可视化管理界面，极大的减少了运维难度。

高性能低成本

相较于传统的关系型数据库系统的存储周期短、存储入库能力差，Lightning System 支持最廉价的 SATA 接口 NAS 硬盘。单 LDB 服务能力基本可达到硬盘 80MB/s。相较于传统的服务器级硬盘，使用普通 SATA 接口 NAS 硬盘成本 300 元/TB。可极大的节约数据成本。同时，系统采用算法定位模型，数据可直接通过算法定位数据存储区，提取数据耗时可基本达到磁盘硬盘读取速率极限。

高可靠

系统采用分布式架构，支持多副本、多实例、弹性扩展，客户可灵活根据业务内容进行设定定义，多服务同时在线运行，自动组网运行。在软硬件故障情况下，系统将灵活的将错误服务由其他正常设备进行迁移，系统服务节点将自动修复。

灵活便捷

系统数据表支持灵活定义、修改。相较于传统的关系型数据库系统，大量累计数据后表结构变更将带来无可估计的数据“整理”工作。Lightning System 采用版本管理模型和存储版本自适配模式，数据表结构修改后不对原有记录进行整理。在后续需要使用的时候按需将数据存储的内容与当前最新版本进行适配转换，使其同时满足高效的表结构变更，也不影响后续使用过程。

即开即用

系统支持功能完善，平台默认提供内容包括了数据库管理相关软件和系统监控、监测、运维、更新、容器管理等套件，无需客户进行二次开发和复杂的配置工作，一键部署。

学习难度低

支持多种语言的二次开发 API，包括 C/C++/.NET/JAVA/Golang/NodeJS/Python/。支持 grpc、thrift 等高级 RPC 框架。与现有主流开发技术完全贴合。同时，系统 Select 操作兼容 MySQL 数据库操作语法，开发人员无需学习即可使用。

运维无忧

系统除传统的设备监视、服务状态监视、服务状态报警以外，同时提供了运维常用的 SSH 服务。运维人员可直接在线配置、操作。无需前往现场进行就地管理，减少运维强度。