-
管理维度表 - 数据治理中心 DataArts Studio
上方的“同步”按钮,系统弹出“批量同步”对话框。 进行同步时,可以选择同步到生产环境或开发环境。默认同步到生产环境,不勾选则无法同步。 图3 同步维度表 确认无误后,单击“确认提交”,完成后界面将显示同步结果。 同步后,您可以在维度表列表中,查看维度表的同步状态。单击列表右上方的
-
C# - 数据治理中心 DataArts Studio
76d05ce2623065180f111c3f70ac14ddf0506f3 C++ 2a54c3f2486d562ea6af1384eca40b301918bdc02f98bbf2c114f282dc059c00 C 4957556c108e0174d55b4b8d720f2
-
配置Redis目的端参数 - 数据治理中心 DataArts Studio
迁移。 否 键分隔符 用来分隔关系型数据库的表和列名。 _ 值分隔符 以STRING方式存储时,列之间的分隔符。 ; key值有效期 用于设置统一的生存时间,单位:秒。 300 父主题: 配置作业目的端参数
-
源端为Kafka - 数据治理中心 DataArts Studio
topic列表,可以为多个topic,以“,”作为分隔符。 fromJobConfig.kafkaConsumerStrategy 是 枚举 从Kafka拉取数据时的初始偏移量设置: LATEST:最大偏移量,即最新的数据。 EARLIEST:最小偏移量,即最老的数据。 fromJobConfig.isPermanency
-
JSONUtil内嵌对象 - 数据治理中心 DataArts Studio
"2000" }, { "name": "city3", "areaCode": "3000" }] } 获取city1的电话区号,EL表达式如下:
-
步骤6:数据开发 - 数据治理中心 DataArts Studio
单击“提交”按钮提交版本。 图3 保存脚本 图4 提交脚本版本 重复4~6的步骤,完成如下脚本的创建。 脚本名称:demo_etl_sdi_dwi,该脚本用于将SDI贴源层的原始数据写入到DWI层的标准出行数据表中。脚本内容如下: 1 2 3 4 5 6 7 8
-
JavaScript - 数据治理中心 DataArts Studio
76d05ce2623065180f111c3f70ac14ddf0506f3 C++ 2a54c3f2486d562ea6af1384eca40b301918bdc02f98bbf2c114f282dc059c00 C 4957556c108e0174d55b4b8d720f2
-
Python - 数据治理中心 DataArts Studio
76d05ce2623065180f111c3f70ac14ddf0506f3 C++ 2a54c3f2486d562ea6af1384eca40b301918bdc02f98bbf2c114f282dc059c00 C 4957556c108e0174d55b4b8d720f2
-
停止脚本实例的执行 - 数据治理中心 DataArts Studio
workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 无 请求示例 POST /v1/b384b9e9ab9b4ee8994c8633aabc9505/scripts/dw
-
CDM Job - 数据治理中心 DataArts Studio
系统会将时间宏变量替换为(数据开发作业计划启动时间-偏移量),而不是(CDM作业实际启动时间-偏移量)。 参数 用户可参考表1,表2和表3配置CDM Job节点的参数。配置血缘关系用以标识数据流向,在数据目录模块中可以查看。 表1 属性参数 参数 是否必选 说明 CDM集群名称
-
PHP - 数据治理中心 DataArts Studio
76d05ce2623065180f111c3f70ac14ddf0506f3 C++ 2a54c3f2486d562ea6af1384eca40b301918bdc02f98bbf2c114f282dc059c00 C 4957556c108e0174d55b4b8d720f2
-
源端为DIS - 数据治理中心 DataArts Studio
fromJobConfig.streamName 是 String DIS的通道名。 fromJobConfig.disConsumerStrategy 是 枚举 设置从DIS拉取数据时的初始偏移量: LATEST:最大偏移量,即最新的数据。 FROM_LAST_STOP:从上次停止处继续拉取。 EARLIEST:最小偏移量,即最早的数据。
-
查询指定发布包详情 - 数据治理中心 DataArts Studio
"7b71e498e75d44048c9a22dd3c54f978", "apply_user_name": "ei_dlf_l00341563", "delete_flag": 0, "deploy_status": 3, "deploy_timestamp":
-
配置DIS数据连接 - 数据治理中心 DataArts Studio
DIS连接固定选择为DIS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件
-
查看质量报告 - 数据治理中心 DataArts Studio
在“技术报告”页签,选择数据连接及时间段,系统支持查询报告的最大时间范围限制为30天,如图2所示。 图2 选择数据连接 以评分满分为5分为例。其中4-5分评价为优秀,3-4分为良好,2-3分为不及格,1-2分为较差,0-1分为极差。 当天质量评分数据在次日凌晨生成。 质量评分历史趋势中的实线为截至日期前7天质量评分组
-
发布API - 数据治理中心 DataArts Studio
发布ID为760715eb1bfce0c575abab3be3bd41e6的API到APIG。 /v1/0833a5737480d53b2f250010d01a7b88/service/apis/760715eb1bfce0c575abab3be3bd41e6/instances/APIG/publish
-
管理作业标签 - 数据治理中心 DataArts Studio
如果导入的作业名有重复,系统会按后面一列来识别,标签标识按照该行来处理。 添加方式:支持追加和覆盖两种。 追加:若该作业已设置了作业标签,新添加的标签不会覆盖原来的标签。 覆盖:若该作业已设置了作业标签,新添加的标签将会直接覆盖原来的标签。 单击“确定”,完成导入。 导出作业标签 在数据开发主界面的左侧导航栏,选择“配置管理
-
通过数据开发实现数据增量迁移 - 数据治理中心 DataArts Studio
job。例如“https://cdm.cn-north-1.myhuaweicloud.com/cdm/v1.0/1551c7f6c808414d8e9f3c514a170f2e/clusters/6ec9a0a4-76be-4262-8697-e7af1fac7920/cdm/job”。
-
查询作业实例详情 - 数据治理中心 DataArts Studio
MRSSpark:执行MRS服务的Spark作业 MapReduce:执行MRS服务的MapReduce作业 MRSFlinkJob: 执行MRS服务的FlinkJob作业。 MRSHetuEngine: 执行MRS服务的HetuEngine作业。 DLISpark:执行DLF服务的Spark作业
-
资源迁移 - 数据治理中心 DataArts Studio
理中心DataArts Studio的资源迁移功能,对资源进行导入导出。 资源迁移支持迁移的资源包含数据服务、数据目录和管理中心数据连接。 前提条件 资源导入可以基于OBS服务,也支持从本地导入。 系统中存在的可迁移资源,来源于管理数据连接创建数据连接,标签管理对元数据进行分类和