检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 TBL_X 自动创表 只有当源端为关系数据库时,才有该参数。
系统会对返回数据进行分页,pageSize表示分页后的页面大小,pageNum表示页码。API调试时默认按100的大小分页,返回第1页数据。 API调试时,page_size (系统默认) 最大为100,当page_size值大于100时,默认查出的数据仍为100条。
本文以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程 通过CDM节点批量创建分表迁移作业 业务系统中,数据源往往会采用分表的形式,以减少单表大小,支持复杂的业务应用场景。在这种情况下,通过CDM进行数据集成时,需要针对每张表创建一个数据迁移作业。
超时重试:根据实际需要选择,如果作业节点配置了超时时间,则该节点执行超时后,系统支持重试。 最大重试次数:根据实际需要选择,过多重试可能会导致下游作业运行时间被压缩。 重试间隔时间(秒):根据实际需要选择,过大重试间隔时间可能会导致下游作业运行时间被压缩。
说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。
Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。
角色列表来自于系统预置角色和自定义角色。 图2 新建目录权限策略 相关操作 编辑策略:在目录权限页面,单击对应策略操作栏中的“编辑”,即可编辑策略。 删除策略:在目录权限页面,单击对应策略操作栏中的“删除”,即可删除策略。
说明: MRS集群版本为不支持时,界面不显示查看日志,则系统不支持通过一键跳转查看日志。 单击作业名称,在打开的页面中查看该作业的作业参数、作业属性、作业实例。 单击作业的某个节点,可以查看节点属性、脚本内容、节点监控等信息。在节点监控页签,可以查看实时作业的运行日志。
Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。
删除 勾选需要删除的原子指标,单击上方“更多 > 删除”,系统弹出“删除”对话框。 单击“是”。 函数说明 新建原子指标时,需要按照函数设定表达式。
作业成功标识文件 文件系统为目的端的时候,当任务成功时,在目的端的目录下,生成一个空的文件,标识文件名由用户来指定。一般和“启动作业标识文件”搭配使用。
Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。
从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 密码:访问MRS Manager的用户密码。 认证类型:访问MRS的认证类型。 运行模式:选择HDFS连接的运行模式。
创建/编辑角色时,如果您当前账号已具备DAYU Administrator或Tenant Administrator权限,但系统仍然返回报错“您无权限进行该操作”,这可能是由于网络限制导致的,建议您切换到其他网络后重试。
该节点对应的数据为JSON数组,系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 data.list 高级属性 使用rfc4180解析器 文件格式为CSV格式时支持此参数。 是否使用rfc4180解析器解析CSV文件。
Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。
作业成功标识文件 文件系统为目的端的时候,当任务成功时,在目的端的目录下,生成一个空的文件,标识文件名由用户来指定。一般和“启动作业标识文件”搭配使用。
*水印标识 系统会将水印标识嵌入到数据表中,标识长度不超过16个字符即可。 *纠错等级 等级越高,水印信息编码位数越长,溯源时误码率越低。需注意高纠错等级需要更大的数据量来保证信息的嵌入完整性。默认为1。 *水印版本 V1版本:嵌入水印时依赖主键列,嵌入速度快。
登录MRS服务Manager页面,选择“系统 > 权限 > 用户”,删除与待同步用户同名的人机用户。 在IAM删除与MRS人机用户同名的待同步用户。 MRS数据源同步前,要求用户/用户组已至少配置如下任一的权限,否则不会进行同步。
Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。