帮助中心

Appearance

数据运营 / 数据指标 / 指标体系 ​

此场景需要使用的应用: 数据治理, 数据集成, 数据指标, 数据服务
通过以下 4 步构建指标体系

数据标准定义 ​

定义数据标准, 包括名词字典、字段标准、命名规则、标准代码、度量单位

创建名词字典 ​

在数据指标场景下管理业务名词, 用于组成命名规则的候选词组

  • 点击应用数据治理 - 数据标准
  • 点击名词字典
  • 首次创建需创建分类, 以分类 业务 - 考核 为例, 点击 + 号新建分类 考核, 点击分类 业务 再点击 创建子分类 - 考核
  • 点击分类 业务 - 考核, 点击 新增 新建名词
  • image.png

创建字段标准 ​

在数据指标场景用于定义指标标准, 创建类似指标时可引用字段标准快速创建指标

  • 点击应用数据治理 - 数据标准
  • 点击字段标准
  • 首次创建需创建分类, 以分类 业务 - 考核 为例, 点击 + 号新建分类 考核, 点击分类 业务 再点击 创建子分类 - 考核
  • 点击分类 业务 - 考核, 点击 新增 新建字段标准
  • image.png

定义命名规则 ​

在数据指标场景用于定义指标体系表名命名规则, 旨在确保命名的一致性和可读性

  • 点击应用数据治理 - 数据标准
  • 点击命名规则
  • 首次创建需创建分类, 以分类 数据指标 - 指标体系 为例, 点击 + 号新建分类 数据指标, 点击分类 数据指标 再点击 创建子分类 - 指标体系
  • 点击分类 数据指标 - 指标体系, 点击 新增 新建命名规则
  • 指标体系中共有 3 层, 每层都需要设置命名规则
    • 明细数据层: 对应数据仓库中明细数据层 (DWD), 例如 dwd_业务_自定义
    • 汇总数据层: 对应数据仓库中明细数据层 (DWS), 例如 dws_业务_汇总周期_自定义
    • 应用数据层: 对应数据仓库中明细数据层 (ADS), 例如dwd_业务_报表类型_自定义
  • image.png

创建标准代码 ​

在数据指标场景用于定义某些字段标准的取值范围, 用于设置可选择的数据的内容、编码以及范围

  • 点击应用数据治理 - 数据标准
  • 点击标准代码
  • 首次创建需创建分类, 以分类 业务 - 考核 为例, 点击 + 号新建分类 业务, 点击分类 业务 再点击 创建子分类 - 考核
  • 点击分类 业务 - 考核, 点击 新增 新建标准代码 评分等级
  • image.png
  • 选择标准代码 评分等级, 点击 代码, 点击 新增, 新增标准代码取值
  • image.png

创建度量单位 ​

在数据指标场景用于定义指标的度量单位, 系统已预置度量单位，可自定义创建新的度量单位

  • 点击应用数据治理 - 数据标准
  • 点击度量单位
  • 首次创建需创建分类, 以分类 业务 - 考核 为例, 点击 + 号新建分类 业务, 点击分类 业务 再点击 创建子分类 - 考核
  • 点击分类 业务 - 考核, 点击 新增 新建度量单位 千瓦时
  • image.png

构建分析对象 ​

创建分析对象 ​

在数据指标场景用于定义逻辑实体对应业务活动过程中数据指标所描述的分析对象, 本案例中考核指标描述对象为机组

  • 点击应用数据指标 - 分析对象
  • 点击分析对象
  • 首次创建需创建分类, 以分类 业务 - 考核 为例, 点击 + 号新建分类 业务, 点击分类 业务 再点击 创建子分类 - 考核
  • 点击分类 业务 - 考核, 点击 新增 新增分析对象 考核机组

生成维度表 ​

  • 点击应用数据指标 - 分析对象
  • 点击 通用维度层
  • 首次使用需要对 通用维度层 设置 命名规则, 可自定义或者引用 数据治理 - 数据标准 - 命名规则
  • 点击分类 业务 - 考核, 点击分析对象 考核机组, 点击新增 - 创建表, 维度表与分析对象是一一对应的, 即一个分析对象有且只有一个维度表
    • 基本信息: 表名, 说明
    • 维度主键: 维度表的唯一标识字段 ID, 如机组表中的 id, 指机组 ID
    • 维度属性: 分析对象的固有描述属性字段, 如机组中有机组类型、名牌容量等
    • image.png
  • 选择考核机组维度表 khjz, 点击 生成 Doris 表, 成功后将在 Doris 中创建物理表

创建修饰词 ​

在数据指标场景用于管理维度属性的过滤条件, 那么在计算指标中会过滤机组类型为火电的机组数据进行计算

  • 点击应用数据指标
  • 点击菜单分析对象
  • 点击 修饰词
  • 点击分类 业务 - 考核, 点击分析对象 考核机组, 点击 新增 - 新增修饰词
    • 限定条件
      • 选择属性, 即分析对象对应维度表的属性
      • 选择条件 =、!=等
      • 可添加两组多条条件语句
    • image.png

指标开发 ​

本平台中将指标分为三大类, 原子指标、派生指标、衍生指标, 依据业务活动进行指标定义, 同时支持数据治理, 通过关联数据治理构建数据指标,

原子指标 ​

原子指标一般是不经过运算可直接从业务系统中、数据采集端获取到的, 如电压、温度等

  • 点击应用数据指标 - 指标开发
  • 点击 原子指标
  • 指标开发与分析对象共享分类数据, 点击分类 业务 - 考核 - 考核机组, 点击 新增 - 新增原子指标
    • 字段标准
      • 自定义
      • 从已有字段标准中选择: 引用数据治理 - 数据标准 - 字段标准, 统一规范化新增原子指标
    • 中文名称
    • 英文名称
    • 数据类型
    • 是否 NULL: 字段取值是否允许为 NULL
      • 是: 默认值必填
      • 否
    • 度量单位
      • 自定义
      • 从已有度量单位中选择: 引用数据治理 - 数据标准 - 度量单位, 统一规范化填入度量单位
  • image.png

派生指标 ​

派生指标指汇总计算得到的指标, 通常是基于时间范围进行汇总, 如近一天温度平均值、近三个月发电总量, 派生指标 = 原子指标 + 聚合逻辑 + 修饰词 + 时间周期

  • 点击应用数据指标
  • 点击菜单指标开发
  • 点击 派生指标
  • 指标开发与分析对象共享分类数据, 点击分类 业务 - 考核 - 考核机组, 点击 新增 - 新增派生指标
    • 组织顺序: 派生指标 = 原子指标 + 聚合逻辑 + 修饰词 + 时间周期
    • 原子指标: 选择原子指标, 当前仅支持单选
    • 聚合逻辑: 可选 SUM、MAX、MIN、AVG、COUNT
    • 修饰词: 选择构建分析对象时创建的修饰词, 即维度属性限定条件
    • 时间周期: 聚合统计的时间范围
    • 画布中自动生成派生指标, 途中绿色字体
      • 以笛卡尔积的方式自动生成派生指标
      • 支持在线编辑, 如删除某个组成元素、编辑派生指标属性等
    • image.png
    • 保存
    • image.png

衍生指标 ​

原子指标一般是不经过运算可直接从业务系统中、数据采集端获取到的, 如电压、温度等

  • 点击应用数据指标
  • 点击菜单指标开发
  • 点击 衍生指标
  • 指标开发与分析对象共享分类数据, 点击分类 业务 - 考核 - 考核机组, 点击 新增 - 新增衍生指标
    • 中文名称
    • 英文名称
    • 数据类型
    • 是否 NULL: 指标值是否允许为 NULL
      • 是: 无需填写默认值
      • 否: 需要填写默认值
    • 度量单位
      • 自定义
      • 从已有度量单位中选择
    • 计算公式: 依据画布内容自动生成 SQL 语法的计算公式
    • 选择指标: 选择衍生指标计算所需要的指标, 可选原子指标、派生指标
    • 选择计算函数: 选择需要使用的计算函数
    • image.png
    • 保存
    • image.png

指标体系 ​

指标体系就是管理物理表并将将指标落入物理表结构中, 分为明细数据层 (DWD)、汇总数据层 (DWS)、应用数据层 (ADS), 每个指标尽可落入一张表中, 同时通过分析粒度控制数据的分析周期, 如每小时执行、每日执行等, 指标体系中将指标落表并生成 Doris 表同时生成任务之后, 整个数据处理链路才算构建完成

明细数据层 ​

可管理原子指标的落表和生成任务

  • 点击应用数据指标
  • 点击菜单指标体系
  • 点击 明细数据层
  • 首次创建需创建分类, 以分类 考核 - 明细数据 为例, 点击 + 号新建分类 考核, 点击分类 考核 再点击 创建子分类 - 明细数据
  • 点击分类 考核 - 明细数据, 点击 新增 - 创建表 , 以表 dwdkh 为例
    • 基本信息
      • 分析粒度: 数据的分析处理周期, 如自然年指每年执行一次、自然月指每月执行一次、自然日指每日执行一次、自然小时指每小时执行一次
      • 表名
      • 说明
    • 日期字段: 默认生成, 定时统计都需要有日期字段
    • 维度主键: 选择维度表的主键, 即这张原子指标的表是统计分析哪个分析对象的
      • 点击 引用维度主键
    • 退化维度: 冗余维度表的维度属性字段
      • 点击 导入退化维度属性, 选择需要冗余的维度属性字段
      • image.png
    • 指标字段: 选择哪些原子指标落表, 仅可选择描述当前分析对象的原子指标
      • 点击 引用原子指标, 选择哪些原子指标落表
      • image.png
    • 保存
      • image.png
    • 点击分类 考核 - 明细数据, 选择表 dwdkh, 点击 生成 Doris 表, 成功后将在 Doris 中创建物理表
    • 点击分类 考核 - 明细数据, 选择表 dwdkh, 点击 生成任务, 成功后将生成调度任务

汇总数据层 ​

可管理派生指标的落表和生成任务

  • 点击应用数据指标
  • 点击菜单指标体系
  • 点击 汇总数据层
  • 首次创建需创建分类, 以分类 考核 - 汇总数据 为例, 点击 + 号新建分类 考核, 点击分类 考核 再点击 创建子分类 - 汇总数据
  • 点击分类 考核 - 汇总数据, 点击 新增 - 创建表 , 以表 dwskh 为例
    • 基本信息
      • 分析粒度: 数据的分析处理周期, 如自然年指每年执行一次、自然月指每月执行一次、自然日指每日执行一次、自然小时指每小时执行一次
      • 表名
      • 说明
    • 日期字段: 默认生成, 定时统计都需要有日期字段
    • 维度主键: 选择维度表的主键, 即这张原子指标的表是统计分析哪个分析对象的
      • 点击 引用维度主键
    • 退化维度: 冗余维度表的维度属性字段
      • 点击 导入退化维度属性, 选择需要冗余的维度属性字段
    • 指标字段: 选择哪些派生指标落表, 仅可选择描述当前分析对象的派生指标
      • 点击 引用派生指标, 选择哪些派生指标落表
      • image.png
    • 保存
      • image.png
    • 点击分类 考核 - 汇总数据, 选择表 dwskh, 点击 生成 Doris 表, 成功后将在 Doris 中创建物理表
    • 点击分类 考核 - 汇总数据, 选择表 dwskh, 点击 生成任务, 成功后将生成调度任务

应用数据层 ​

可管理派生指标、衍生指标的落表和生成任务

  • 点击应用数据指标
  • 点击菜单指标体系
  • 点击 应用数据层
  • 首次创建需创建分类, 以分类 考核 - 应用数据 为例, 点击 + 号新建分类 考核, 点击分类 考核 再点击 创建子分类 - 应用数据
  • 点击分类 考核 - 应用数据, 点击 新增 - 创建表 , 以表 adskh 为例
    • 基本信息
      • 分析粒度: 数据的分析处理周期, 如自然年指每年执行一次、自然月指每月执行一次、自然日指每日执行一次、自然小时指每小时执行一次
      • 表名
      • 说明
    • 日期字段: 默认生成, 定时统计都需要有日期字段
    • 维度主键: 选择维度表的主键, 即这张原子指标的表是统计分析哪个分析对象的
      • 点击 引用维度主键
    • 退化维度: 冗余维度表的维度属性字段
      • 点击 导入退化维度属性, 选择需要冗余的维度属性字段
    • 指标字段: 选择哪些派生指标、衍生指标落表, 仅可选择描述当前分析对象的派生指标、衍生指标
      • 点击 引用派生指标, 选择哪些派生指标落表
      • 点击 引用衍生指标, 选择哪些衍生指标落表
      • image.png
    • 保存
      • image.png
    • 点击分类 考核 - 应用数据, 选择表 adskh, 点击 生成 Doris 表, 成功后将在 Doris 中创建物理表
    • 点击分类 考核 - 应用数据, 选择表 adskh, 点击 生成任务, 成功后将生成调度任务

指标数据调用 ​

通过 API 接口的方式开放数据访问

创建 API 数据源 ​

作为数据指标 API 的数据访问来源

  • 点击应用数据服务 - 数据源管理
  • 点击 新增
    • 创建 Doris 类型的数据源 DataIndicator
    • image.png

创建指标 API ​

  • 点击应用数据服务 - API 开发
  • 点击 + 号 新建分类 - 数据指标
  • 点击分类 数据指标 - 创建 API
  • 填写基本信息
    • 服务地址: 网关地址
    • API 路径: 可自定义, 要求不重复
    • 请求方式: 选择 POST
    • API 类型: 选择公有, 公有为所有用户可见, 私有仅当前用户可见
  • 填写参数配置
    • 配置模式: 选择向导模式
    • 来源: 选择数据源 DataIndicator
    • 表: 选择指标体系创建的表, 以 为例
    • 选择参数: 点击加载选择请求参数、返回参数、是否必填
    • 字段排序: 字段排序点击添加设置字段升序
  • 保存后点击 发布 可发布 API, 发布后才可访问 API
  • 点击 调试 可测试 API 连通性、请求返回字段是否正确

配置 API 策略 ​

  • 点击应用数据服务 - API 管理
  • 点击 API 策略 , 点击分类 数据指标 - 点击策略
  • 参考场景: 数据服务 / 共享/ 统一 - 配置 API 策略

设置 API 授权 ​

此步骤用于向用户或者用户组授权 API, 用户组内的用户看作一个整体共享同一个 API 授权 Key, 首次使用需要创建用户和用户组

新增用户 ​
  • 点击应用数据服务 - 用户管理
  • 点击用户 - 新增
    • 手动创建: 用于创建平台外第三方的用户, 即此用户仅可以调用 API 而没有使用平台系统的权限
    • 用户中心: 可以由整个平台系统内的用户中心的用户引用创建数据服务应用内的用户, 即此用户可调用 API 也可登录平台系统
  • image.png
新增用户组 ​
  • 点击应用数据服务 - 用户管理
  • 点击用户组 - 新增
    • 用户组成员: 可选单个或者多个用户, 组内用户看作一个整体
  • image.png
API 授权 ​
  • 点击应用数据服务 - API 管理
  • 点击 API 策略, 点击分类 数据指标 - 选择 API - 点击 授权
    • 授权类型: 用户、用户组
    • 授权用户 / 授权用户组: 选择所要授权访问该 API 的用户 / 用户组
    • 授权范围
      • 请求参数: 选择该授权可以发送的请求参数
      • 返回参数: 选择该授权可以发送的返回参数
    • 有效期
      • 固定时长
      • 永久
  • image.png

测试 API ​

  • 点击应用数据服务 - API 管理
  • 点击 API 测试
    • 选择对象
      • 用户
      • 用户组
    • 测试对象: 选择测试的用户 / 用户组身份
    • API 名称: 选择所要测试的 API, 该用户 / 用户组未被授权的 API 将被过滤掉不提供选择

上线指标 API ​

  • 点击应用数据服务 - API 管理
  • 点击API 策略 - 点击分类数据指标 - 选择 API - 点击上线
    • API 上线后才可正式被访问, 若未上线即使授权了也无法调用

调用 API ​

需要使用 API Key 调用 API

  • 点击应用数据服务
  • 点击菜单用户管理
  • 点击用户或者用户组, authKey 即为授权的 API Key
  • 点击菜单API 管理
  • 点击 API 策略, 选择 API, API 路径 即为 API 调用访问路径