检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
地图等):dayu.{region_id}.myhuaweicloud.com,具体如表3所示。 表1 CDM数据集成Endpoint 区域名称 区域ID 终端节点(Endpoint) 协议类型 华北-北京一 cn-north-1 cdm.cn-north-1.myhuaweicloud
表1 Oracle连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 oracle_link 数据库服务器 数据库服务器域名或IP地址。 192.168.0.1 端口 Oracle数据库的端口。 3306 数据库连接类型 Oracle数据库连接类型。 Service
当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:
项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目ID。
储到规定的库中。 数据库或Schema:开启“生成异常数据”时显示此项,表示存储异常数据的数据库或Schema 表前缀:开启“生成异常数据”时显示此项,表示存储异常数据的表的前缀。 表后缀:开启“生成异常数据”时显示此项,表示存储异常数据的表的后缀。 添加规则:单击“添加规则”进
是 认证类型为KERBEROS时显示该参数。 集群配置文件的OBS存放路径。 keytab文件路径 是 认证类型为KERBEROS时显示该参数。 配置keytab文件的OBS存放路径。 Principal名称 是 认证类型为KERBEROS时显示该参数。 Kerberos认证用户名。
不同类型的关系数据库,需要适配不同的驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 单次提交行数 可选参数,单击“显示高级属性”后显示。 指定每次批量提交的行数,根据数据目的端和
近。 类型 显示作业类型,当前包含质量作业和对账作业。 运行状态 展示实例运行状态,包含成功、失败和运行中、告警。右侧弹窗分选项卡可查看规则实例的详细运行日志信息。 成功:表示实例正常结束,且执行结果符合预期。 失败:表示实例未正常结束。 告警:表示实例正常结束,但执行结果不符合预期。
击下一步。 图18 导入作业 作业开始导入,导入成功后系统会显示导入的作业名。 图19 导入作业成功 搬迁后验证 在新空间的脚本、作业、环境变量、资源数据导入完成后,您可以在新空间查看并验证这些数据是否与旧空间一致,以确保导入成功。 父主题: DataArts Studio配置数据搬迁实践
CDM是否支持动态数据实时迁移功能? CDM是否支持集群关机功能? 如何使用表达式方式获取当前时间? 日志提示解析日期格式失败时怎么处理? 字段映射界面无法显示所有列怎么处理? CDM迁移数据到DWS时如何选取分布列? 迁移到DWS时出现value too long for type character
于记忆、区分的连接名。 es_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用“;”分隔。 192.168.0.1:9200;192.168.0.2:9200 父主题:
作业执行支持并发数。该参数无需配置,跟随处理器核数变化而自动变化。 1 自动重试 作业失败时是否开启自动重试。 否 最大重试次数 “自动重试”为是时显示该参数。 1 重试间隔时间 “自动重试”为是时显示该参数。 120秒 是否写入脏数据 选择是否记录脏数据,默认不记录脏数据,当脏数据过多时,会影响同步任务的整体同步速度。
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 IP或域名 是 待连接的数据库的访问地址,可填写为IP或域名,其中公网IP和内网IP地址均支持。 端口 是 待连接的数据库端口。 KMS密钥 是 通过KMS加解密数据源认证信
当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:
无法连接FTP服务器。 可能是由于网络不通、安全组或防火墙规则未放行、FTP主机名无法解析、FTP用户名密码错误等原因。若排除上述原因后仍无法解决,请联系客服或技术支持人员协助解决。 Cdm.0700 400 无法连接SFTP服务器。 无法连接SFTP服务器。 可能是由于网络不通、安全组或防火墙规则
连接参数 参数 是否必选 类型 说明 linkConfig.host 是 String 配置为Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用分号(;)分隔,例如:192.168.0.1:9200;192.168.0.2:9200。
为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 - 密钥(SK) - 连接属性 可选参数,单击“显示高级属性”后显示。 自定义连接属性,单击“添加”可增加多个属性。 只支持配置connectionTimeout,socketTimeout和idleConnectionTime。
数据集成(实时作业) 问题案例总览 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? 如何配置Hudi Compaction的Spark周期任务? MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到DWS实时同步中
单击作业画布上方的“保存”按钮,保存完成编排的作业。 单击作业画布上方的“测试运行”按钮,测试作业运行情况。 test1运行成功,则对应的IF条件为true; test2运行成功,则对应的IF条件为true; test3运行失败,则对应的IF条件为false。 当多IF策略配置为“逻辑或”时
上传文件后系统开始自动导入,导入成功后系统会显示导入的情况。 图20 导入码表成功 导入成功后,请单击“发布”,使其处于“已发布”状态。 导入数据标准 在数据架构主界面,单击左侧导航栏的“数据标准”,进入数据标准页面。 首次进入数据标准页面,会显示制定数据标准模板的页面,请参考旧空间的“配置中心