-
文件格式介绍 - 数据治理中心 DataArts Studio
单击添加字段,新增一个字段。 图2 添加字段 在添加的新字段后面,单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器,表达式输入“1.0”,然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统间按原样复制文件,则可以选择二进制格式。二进制格式传输
-
API授权操作(授权/取消授权/申请/续约) - 数据治理中心 DataArts Studio
"api_id" : "47046fe7830c1be77cb0dc23bd86afa5", "instance_id" : "APIG", "app_id" : "908489209a320df61607355c57c82882", "apply_type" :
-
文件格式介绍 - 数据治理中心 DataArts Studio
单击添加字段,新增一个字段。 图2 添加字段 在添加的新字段后面,单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器,表达式输入“1.0”,然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统间按原样复制文件,则可以选择二进制格式。二进制格式传输
-
逻辑模型设计 - 数据治理中心 DataArts Studio
*描述 描述信息。支持的长度1~200字符。 在“逻辑实体属性”页面添加所需要的逻辑实体属性,逻辑实体属性参数说明参考表3。 图6 添加逻辑实体属性 表3 逻辑实体属性参数 参数名称 说明 *名称 只能包含中文、英文字母、数字、中英文括号、中英文逗号以及以下特殊字符+、-、#、_、[]、/,且以中文或英文字母开头。
-
简易变量集参考 - 数据治理中心 DataArts Studio
计划时间为1点,小时的参数取值为01,以此类推。 业务ID参数 业务ID会替换成当前业务的实际ID,包括作业ID和作业生成的实例ID。 表3 业务ID参数获取说明 方法 说明 $job_id 数据开发作业id。获取该ID请参考查询作业详情。 $instance_id 作业实例id
-
定义识别规则 - 数据治理中心 DataArts Studio
新建规则参数配置请参考表1,参数配置完成单击“确定”即可。 图3 规则配置 表1 配置识别规则参数说明 配置 说明 *规则类型 即规则所属分类,支持按模板添加内置规则和自定义规则。 *数据密级 对配置的数据进行等级划分。如果现有的分级不满足需求,请进入数据密级页面进行设置,详情请参见定义数据密级。 数据分类
-
Import GES - 数据治理中心 DataArts Studio
点数据集罗列了各个点的数据信息。一行为一个点的数据。格式如下所示,id是点数据的唯一标识。 id,label,property 1,property 2,property 3,… 边数据集罗列了各个边的数据信息,一行为一条边的数据。GES中图规格是以边的数量进行定义的,如一百万边。格式如下所示,id 1、id 2是一条边的两个端点的id。
-
创建脚本 - 数据治理中心 DataArts Studio
是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 Script参数说明 参数名 是否必选 参数类型 说明 name 是 String
-
修改脚本内容 - 数据治理中心 DataArts Studio
是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 Script参数说明 参数名 是否必选 参数类型 说明 name 是 String
-
实时作业监控 - 数据治理中心 DataArts Studio
选择“实时作业监控”页签,单击作业名称。 进入“作业监控”详情页面后,右键单击配置有事件驱动调度的节点,选择“调度配置”,配置如表3所示的参数。 图3 调度配置 表3 调度配策略参数说明 参数 说明 DIS通道名称 选择DIS通道,当指定的DIS通道有新消息时,数据开发模块将新消息传递给作业,触发该作业运行。
-
定义识别规则分组 - 数据治理中心 DataArts Studio
单击页面上方“规则分组”页签,进入分组列表页面。 图2 新建数据识别规则组 单击“新建”,输入新建分组名称和描述,参数设置参考表1,并勾选左侧列表中的识别规则。配置完成后单击“确定”即可。 图3 新建分组参数配置 您所勾选的规则将显示在右侧列表中,右侧已选列表中,已选规则可以通过单击操作来取消勾选。
-
配置角色 - 数据治理中心 DataArts Studio
角色。 创建权限集:基于当前权限集新建权限集和角色,新建权限集的权限不会大于当前权限集。 描述 为更好地识别权限集,此处加以描述信息。 图3 创建通用角色 基本信息:在角色详情页面,展开基本信息区域可以查看角色名称、ID、管理员等信息,详见图4。 另外,还可以在配置完角色和权限后
-
查看业务场景实例 - 数据治理中心 DataArts Studio
左侧导航栏,包括数据业务场景的存储目录。 用户可以根据实际需要对业务场景进行分目录存放,每级目录旁边的数字代表属于该级目录的业务场景的个数。 3 业务场景实例列表 展示实例名称、运行状态、运行结果等信息。 4 搜索区域 可以选择性的展示业务场景实例,例如运行的开始时间和结束时间处于某一时间区间业务场景。
-
新建业务场景 - 数据治理中心 DataArts Studio
度两种方式,周期调度的相关参数配置请参见表3。 表3 配置周期调度参数 参数名 说明 生效日期 调度任务的生效时间段。 调度周期 选择调度任务的执行周期,并配置相关参数。 分钟 小时 天 周 间隔时间 调度任务的间隔时间。 调度时间 设置调度任务的起始时间和结束时间。 父主题: 业务指标监控(待下线)
-
curl - 数据治理中心 DataArts Studio
76d05ce2623065180f111c3f70ac14ddf0506f3 C++ 2a54c3f2486d562ea6af1384eca40b301918bdc02f98bbf2c114f282dc059c00 C 4957556c108e0174d55b4b8d720f2
-
配置RDS数据连接 - 数据治理中心 DataArts Studio
通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。 绑定Agent 是 RDS类型数据源为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建RDS类型的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先进行创建。
-
配置HBase/CloudTable源端参数 - 数据治理中心 DataArts Studio
切分Rowkey 可选参数,选择是否拆分Rowkey,默认为“否”。 是 Rowkey分隔符 可选参数,用于拆分Rowkey的分隔符,若不设置则不切分。 | 起始时间 可选参数,起始时间(包含该值),格式为“yyyy-MM-dd HH:mm:ss”,表示只抽取该时间及以后的数据。
-
查询作业详情 - 数据治理中心 DataArts Studio
MRSSpark:执行MRS服务的Spark作业 MapReduce:执行MRS服务的MapReduce作业 MRSFlinkJob: 执行MRS服务的FlinkJob作业。 MRSHetuEngine: 执行MRS服务的HetuEngine作业。 DLISpark:执行DLF服务的Spark作业
-
配置HDFS源端参数 - 数据治理中心 DataArts Studio
A7AC75A1F3FC3D3C56A457DCDC1B 初始化向量 “加密方式”选择“AES-256-GCM”时显示该参数,初始化向量由长度32的十六进制数组成,且必须与加密时配置的“初始化向量”一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 5C91687BA88
-
新建时间限定 - 数据治理中心 DataArts Studio
按分钟”,然后根据需要选择“快速选择”或“自定义”进行时间条件的设置。 自定义时,“-”表示从当前时间向前的时间段,“+”表示从当前时间向后的时间段。例如,过去一年到未来三年,可以按年自定义为“-1到+3”或“+3到-1”。 描述 描述信息。支持的长度0~490字符。 在弹出框中