检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
再次发布已编辑的API。在API服务列表操作列中,选择“更多 > 发布”,然后选择已调试通过的集群进行发布。 您可以将已编辑的API发布在上一次发布的集群上,该集群上的API信息将按编辑后的信息进行更新;您也可以将已编辑的API发布在其他集群上,则该API可以实现不同的版本发布在不同的集群上。 查看与对比版本
进入CDM主界面,选择“集群管理”,选择集群操作列中的“更多 > 查看监控指标”。 在CDM监控页面,可查看所有监控指标的小图。 图1 查看监控指标 单击小图右上角的,可进入大图模式查看。 您可以在左上角选择时长作为监控周期,查看一段时间的指标变化情况。 父主题: 管理并查看CDM监控指标
器中配置的当前租户下的虚拟私有云。 查看方式: 在当前租户下,登录企业路由器控制台,在左侧导航栏,选择“企业路由器 > 我的ER”,在列表中查找所用的企业路由器,单击“管理连接”进入配置界面,在“连接”页签中找到属于当前租户的VPC即可作为中转VPC。 图2 查看企业路由器连接 图3
选择二进制格式。二进制格式传输文件到文件的速率高、性能稳定,且不需要在作业第二步进行字段匹配。 文件传输的目录结构 CDM的文件传输,支持单文件,也支持一次传输目录下所有的文件。传输到目的端后,目录结构会保持原样。 增量迁移文件 使用CDM进行二进制传输文件时,目的端有一个参数“
登录IAM服务控制台。 选择“委托”,在委托列表中查找MRS预置的MRS_ECS_DEFAULT_AGENCY委托,并单击“授权”。 如果未找到MRS预置的MRS_ECS_DEFAULT_AGENCY委托,则可以通过自定义购买方式来购买MRS集群,在高级配置中选择绑定MRS_ECS_DEFAULT_
MRS集群的访问密码,通过代理连接的时候,是必选项。 OBS支持 是 是否支持OBS存储,如果hudi表数据存储在OBS,需要打开此开关。 使用委托 否 OBS为是时显示该参数。 开启委托功能,即可以在无需持有永久AKSK的情况下创建数据连接,根据DLF配置的调度身份执行CDM作业。 公共委托 是
用本地API加速。 如果是导入到RDS上的MySQL数据库,由于RDS上的MySQL默认没有开启LOAD DATA功能,所以同时需要修改MySQL实例的参数组,将“local_infile”设置为“ON”,开启该功能。 说明: 如果RDS上的“local_infile”参数组不可
Manager的密码。 - OBS支持 是否支持OBS存储,如果hudi表数据存储在OBS,需要打开此开关。 是 访问标识(AK) “OBS支持”设置为“是”时,呈现此参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。
已在CDM集群的“作业管理 > 连接管理 > 驱动管理”页面,上传了MySQL数据库驱动。 在MRS Hive上创建Hive分区表 在MRS的Hive上使用下面SQL语句创建一张Hive分区表,表名与MySQL上的表trip_data一致,且Hive表比MySQL表多建三个字段y、ym、ym
际启动时间-偏移量”。 /user/cdm/ 文件格式 传输数据时所用的文件格式,可选择以下文件格式: CSV格式:以CSV格式解析源文件,用于迁移文件到数据表的场景。 二进制格式:选择“二进制格式”时不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。
际启动时间-偏移量”。 /user/cdm/ 文件格式 传输数据时所用的文件格式,可选择以下文件格式: CSV格式:以CSV格式解析源文件,用于迁移文件到数据表的场景。 二进制格式:选择“二进制格式”时不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。
多个Agent分担压力。 前提条件 在创建数据连接前,请确保您已创建所要连接的数据湖(如DataArts Studio所支持的数据库、云服务等)。 在创建DWS类型的数据连接前,您需要先在DWS服务中创建集群,并且具有KMS密钥的查看权限。 在创建MRS HBase、MRS Hi
当使用二进制格式进行文件到文件的迁移时,没有字段映射这一步。 自动创表场景下,需在目的端表中提前手动新增字段,再在字段映射里新增字段。 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单
模式切换章节。 联通性测试成功后,在细粒度认证状态列,根据所需选择启用开发态或调度态的细粒度认证,然后单击下方的“提交”,即可开启细粒度认证。 图2 开启细粒度认证 参考:为MRS数据连接用户配置代理权限 用户在DataArts Studio上通过MRS Hive或Spark数据
作业运行完是否删除:这里保持默认值“不删除”。 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。 父主题: 使用教程
方式二:单击对应驱动名称右侧操作列的“从sftp复制”,配置sftp连接器名称和驱动文件路径。 (可选)在驱动更新场景下,上传驱动后必须在CDM集群列表中重启集群才能更新生效。 父主题: 在CDM集群中创建连接
分库分表同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于多库多表同步场景。 支持分库分表同步的数据源如下所示: 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服
访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业模式独有,具备工作空间内任务包发布的相关操作权限。在企业模式中,开发者提交脚本或作业版本后,系统会对应产生发布任务。开发者确认发包后,需要部署者审批通过,才能将修改后的作业同步到生产环境。 自
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 adb_link 连接器 默认为关系数据库,不可更改。 - 数据库服务器 配置为要连接的数据库的IP地址或域名,多个值以;分隔。 192.168.0.1;192.168.0.2 端口 配置为要连接的数据库的端口。
作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 PostgreSQL/SQLServer连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 sql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。