检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
失败重试选择“是”时,支持设置重试条件。 打开重试条件的开关,设置返回码的范围。 Shell作业可以根据返回码判断作业节点执行失败是否重试。用户可以定义Shell的返回结果码中哪些返回码可以重跑。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停
规模的数据进行提取、转换和加载,即通常所称的ETL(Extraction,Transformation,and Loading)操作。对庞大的数据集查询需要耗费大量的时间去处理,在许多场景下,可以通过建立Hive分区方法减少每一次扫描的总数据量,这种做法可以显著地改善性能。 Hi
1版本集群,则需通过HetuEngine WebUI界面,给计算实例添加如下自定义参数:参数名为“protocol.v1.alternate-header-name”,值为“Presto”,参数文件为“coordinator.config.properties”和“worker.config.properties”。
其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确,例如:源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段,通常用于标记数据库来源,以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段:
其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确,例如:源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段,通常用于标记数据库来源,以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段:
n。 单击“查看编辑”,设置批量映射关系。 字段映射关系:支持批量转换,添加字段,行移动等功能。 批量转换器:批量转换源字段名。 勾选需要转换的字段名,单击“批量转换器”,在弹出的转换器列表对话框中根据提示新建转换器。 批量移除字段:源端配置使用SQL语句为是时不显示该参数,勾选
写入一组分区。 - 高级属 是否将null转换为“null” 配置null值的转换类型。 TO_NULL:null值不处理。 TO_EMPTY_STRRING:将null值转换为空字符串。 TO_NULL_STRING:将null值转换为"null"字符串。 TO_NULL 换行符处理方
目前CDM支持连接的HDFS数据源有以下几种: MRS HDFS FusionInsight HDFS Apache HDFS 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 MRS HDFS 连接MRS上的HDFS数据源时,相关参数如表1所示。 当前暂
基本参数 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts
AccessModeEnum.fromValue("SQL")) .withPagination(DatasourceConfig.PaginationEnum.fromValue("DEFAULT")) .withSql("c2V
任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。
作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 Hudi连接参数 参数名 说明 取值样例 名称 连接名称。 Hudilink Manager IP MRS Manager的浮动IP地址,可以单击输入框后的“选择”来
Access=071fe245-9cf6-4d75-822d-c29945a1e06a, SignedHeaders=host;x-sdk-date, Signature=9e5314bd156d517******dd3e5765fdde4" -d "" 为命令添加x-Authorization头,值
k表示对账作业。 strategy 否 String 导入出现同名资源时处理策略:SKIP表示忽略、OVERRIDE表示覆盖、TERMINATION表示终止。 directories 否 Array of ValueMappingVO objects 目录调整变化。 topics
业务指标监控是对业务指标数据进行质量管理的有效工具,可以灵活的创建业务指标、业务规则和业务场景,实时、周期性进行调度,满足业务的数据质量监控需求。 数据质量监控 数据质量监控是对数据库里的数据质量进行质量管理的工具,您可以配置数据质量检查规则,在线监控数据准确性。 数据质量可以从完整性、有效性、及时性、一
上传模板 选择所需导入的文件。所需导入的文件,可以通过以下两种方式获得。 下载关系建模导入模板并填写模板 在“导入配置”页签内,单击“下载关系建模导入模板”下载模板,然后根据业务需求填写好模板中的相关参数并保存。 导出的表文件 您可以将某个DataArts Studio实例的数据
Jar包自定义参数 对于开发的自定义Jar包,可以在此处对参数进行输入替换 input 否 String 输入路径 MRS Spark作业输入数据路径,可以为HDFS或者是OBS路径。 output 否 String 输出路径 MRS Spark作业输出数据路径,可以为HDFS或者是OBS路径。 programParameter
种: MRS HBase FusionInsight HBase Apache HBase 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 MRS HBase 连接MRS上的HBase数据源时,相关参数如表1所示。 当
REGION>")) .build(); CreateDesignAtomicIndexRequest request = new CreateDesignAtomicIndexRequest(); AtomicIndexVO body
REGION>")) .build(); UpdateDesignAtomicIndexRequest request = new UpdateDesignAtomicIndexRequest(); AtomicIndexVO body