检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
目标字段编码。 field_ids String 来源字段ID,多个ID以逗号分隔。 transform_expression String 转换表达式。 field_names Array of strings 来源字段名称列表。 changed Boolean 字段是否发生变化。
集群描述信息。 external_address String 公网IP地址。 intranet_address String 内网IPv4地址。 intranet_address_ipv6 String 内网IPv6地址。 public_zone_id String 公网域名ID。 public_zone_name
单击作业目录中的,选择“显示复选框”。 勾选需要导出的作业,单击 > 导出作业,可选择“只导出作业”或“导出作业及其依赖脚本和资源定义”。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图1 选择并导出作业 在弹出的“导出作业”界面,选择需要导出的作业范围和状态,单击“确定”,可以在下载中心查看导入结果。
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 主机名或IP 是 服务器的IP地址或者主机名。 例如:sftp.apache.org或192.168.0.1。 端口 是 主机的SSH端口号。 数据传输超时时间 是 数据传输过程中连接服务器超时时间,单位毫秒。
使用教程 概览 DRS任务切换到实时Migration作业配置 MySQL同步到MRS Hudi作业配置 MySQL同步到DWS作业配置 MySQL同步到DMS Kafka作业配置 DMS Kafka同步到OBS作业配置 Apache Kafka同步到MRS Kafka作业配置 SQLServer同步到MRS
在IAM服务左侧导航窗格中,进入“权限管理 > 权限”,单击页面中的“创建自定义策略”。 图1 单击创建自定义策略 在弹出的创建自定义策略页面中,切换到JSON视图,填写MRS权限管理所需的IAM相关自定义策略后,单击“确定”完成IAM相关自定义策略创建。 创建自定义策略时,暂不支持同时
史。 查看模型视图 当您在关系模型中完成表的新建后,就可以通过列表视图和模型视图两种形式查看表模型。关系模型页面默认显示为列表视图,您可以切换为模型视图进行查看。 在DataArts Studio数据架构控制台,单击左侧导航栏的“关系建模”进入关系建模页面。 在页面的中间栏位,从
系客服或技术支持人员。 基础与网络连通配置 Elasticsearch服务器列表 是 一个或多个通过分号分割的服务器列表(服务器域名或IP地址:服务器端口)。 例如:192.168.0.1:9200;192.168.0.2:9200。 KMS密钥 是 和通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。
_cluster”,为Spark作业提供运行所需的物理资源。 获取Spark作业代码 本示例使用的Spark作业代码来自maven库(下载地址:https://repo.maven.apache.org/maven2/org/apache/spark/spark-examples_2
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 adb_link 连接器 默认为关系数据库,不可更改。 - 数据库服务器 配置为要连接的数据库的IP地址或域名,多个值以;分隔。 192.168.0.1;192.168.0.2 端口 配置为要连接的数据库的端口。 3306 数据库名称 配置为要连接的数据库名称。
图1 批量导出 在弹出的窗口中,选择“全部作业和连接”,单击“确认”,导出所有作业和连接。 图2 全部导出 导出成功后,通过浏览器下载地址,获取到导出的JSON文件。 新空间导入作业和连接 请您登录控制台首页,选择并进入新工作空间的“数据集成”模块,然后执行如下操作进行批量导入。
具体操作请参考其他云对应官网资料进行专线或VPN购买和对接。 其他云数据库所在网络添加路由。 其他云数据库所属网络的路由表中需要添加路由,目的地址指向Migration资源组VPC网段,下一跳跳至步骤3中创建的云专线物理连接或VPN对端网关设备。 其他云数据库添加白名单及安全组规则。
要访问其他项目或企业项目的MRS集群,则需要获取MRS Manager的浮动IP地址并手动输入,并确保已打通本连接Agent(即CDM集群)和MRS租户面集群之间的网络。Manager的浮动IP地址可通过登录MRS集群主Master节点获取,执行ifconfig命令,回显中eth0:wsom的IP就是MRS
响应Body参数 参数 参数类型 描述 describe String 描述 permission_center_url String 审批页面地址 workspace_id String 工作空间id 状态码: 400 表8 响应Body参数 参数 参数类型 描述 error_code
各数据源所用端口不尽相同,可参考数据源安全组应放通哪些端口可满足Migration访问?进行安全组规则端口配置。 (可选)本地IDC添加路由。 本地IDC需要添加路由,目的地址指向Migration资源组VPC网段(例如172.16.0.0/19),导向华为侧网关,添加路由可参考配置本地路由。 云专线本端子网添加资源组网段。
Studio控制台的URI链接中获取。 在DataArts Studio控制台首页,选择对应工作空间,并点击任一模块,如“管理中心”。 进入管理中心页面后,从浏览器地址栏中获取“instanceId”和“workspace”对应的值,即为DataArts Studio的实例ID和工作空间ID。 如图2所示
n访问?进行安全组规则端口配置。 (可选)其他云数据库所在网络添加路由,专线添加远端子网。 必要时,其他云数据库所属网络需要添加路由,目的地址指向Migration资源组VPC网段(例如172.16.0.0/19),下一跳跳至云专线的物理连接,建议参考其他云官网资料进行配置。 必
才会记录脏数据。 用户可以进入脏数据目录,查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。 单个map的错误记录超过
ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择“云数据迁移服务”,进入CDM主界面查看集群,若未提示权限不足,表示“CDM ReadOnlyAccess”已生效。
定委托为MRS集群配置委托,并确保MRS集群安全组出方向规则满足如下要求,否则会导致静态脱敏任务失败。 协议:TCP 端口范围:80 远端地址:169.254.0.0/16 MRS引擎的静态脱敏任务,当源端或目的端仅一端为DWS时,支持的数据类型如下。如果有其他不支持的数据类型,将导致静态脱敏任务失败。