检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当“作业调度身份是否可配置”设置为“是”,该参数可见。 执行作业的用户。如果输入了执行用户,则作业以执行用户身份执行;如果没有输入执行用户,则以提交作业启动的用户身份执行。 说明: 配置执行用户调度功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 作业委托 当“作业调
新建规则 管理所有业务规则,规则定义了指标间或者指标和数值间的关系,使用目录维护业务规则。 前提条件 已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控 > 规则管理”页面创建归属目录。基于指标创建业务规则,需要选择规则归属目录,请参见图1创建归属目录。
新建指标 管理所有业务指标,包括指标的来源、定义等,使用目录维护业务指标。 注意,数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的,不支持交互。 前提条件 已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控
新建业务场景 管理所有业务场景,场景定义了规则间的逻辑关系,使用目录维护业务场景。 前提条件 已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控 > 业务场景管理”页面创建归属目录。基于规则创建业务场景,需要选择业务场景归属目录,请参见图1创建归属目录。
如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 导入开始前 导入数据前,选择是否清除目的表的数据: 不清除:写入数据前不清除目标表中数据,数据追加写入。
的“恢复”按钮。 图4 恢复作业2 动态加减表对于不同的启动模式有不同的操作效果,具体如下: 对于初始启动模式为“增量同步”的作业,暂停加表后恢复作业,新增的表将从暂停前的位点或用户重置的位点开始进行增量同步。 对于初始启动模式为“全量+增量”的作业,暂停加表后恢复作业,将对新增
如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 dateformat dateformat支持两种形式的参数: dateformat(format)
如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 dateformat dateformat支持两种形式的参数: dateformat(format)
md5”作为后缀,并且可以指定MD5值生成的目录。 文件格式的公共参数 启动作业标识文件 这个主要用于自动化场景中,CDM配置了定时任务,周期去读取源端文件,但此时源端的文件正在生成中,CDM此时读取会造成重复写入或者是读取失败。所以,可以在源端作业参数中指定启动作业标识文件为“ok.txt”,在源端生成文件成功后,再在文件目录下生成“ok
如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 高级属性 单次写入行数 指定单次批量写入的行数(注意:一次事务提交100个批量的数据)。
schedule_status 否 String 调度状态:UNKNOWN表示未知,NOT_START表示未启动,SCHEDULING表示调度中,FINISH_SUCCESS表示正常结束,KILL表示手动停止,RUNNING_EXCEPTION表示运行失败。 start_time
md5”作为后缀,并且可以指定MD5值生成的目录。 文件格式的公共参数 启动作业标识文件 这个主要用于自动化场景中,CDM配置了定时任务,周期去读取源端文件,但此时源端的文件正在生成中,CDM此时读取会造成重复写入或者是读取失败。所以,可以在源端作业参数中指定启动作业标识文件为“ok.txt”,在源端生成文件成功后,再在文件目录下生成“ok
如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 导入模式 导入数据到DWS时,用户可以指定导入模式。 COPY模式,源数据经过管理节点后,复制到DWS的DataNode节点。
转移脚本责任人 数据开发模块提供了转移脚本责任人的功能,您可以将责任人A的所有脚本一键转移到责任人B名下。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 导入开始前 导入数据前,选择是否清除目的表的数据: 不清除:写入数据前不清除目标表中数据,数据追加写入。
如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 是 table 高级属性 查询筛选 创建用于匹配文档的筛选器。 例如:{HTTPStatusCode:{$gt:"400"
schedule_status 否 String 调度状态:UNKNOWN表示未知,NOT_START表示未启动,SCHEDULING表示调度中,FINISH_SUCCESS表示正常结束,KILL表示手动停止,RUNNING_EXCEPTION表示运行失败。 start_time
如下任一的权限,否则不会进行同步。 Tenant Administrator MRS FullAccess MRS CommonOperations MRS ReadOnlyAccess MRS Administrator MRS Admin MRS User MRS Viewer
存放待移动或复制OBS文件的新目录。 文件过滤器 否 输入文件过滤的通配符,满足该过滤条件的文件才会被移动或复制。当不指定该参数时,默认移动所有源文件。例如:匹配文件名以.csv结尾的文件,输入通配符*.csv。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节
要具体说明一下,便于用户理解。 解决方案 数据架构中指标侧重业务维度,用来衡量目标总体特征的统计数值;数据质量中指标侧重监控维度,用来管理所有业务指标,包括指标的来源、定义等。 注意,数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的,不支持交互。同时,数据质量