检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
di表。 对于MOR表来说,删表需要把ro与rt表也同时删除。否则会出现schema残留的问题。 删除空值后重跑作业。 具体办法: 在作业管理界面选择“更多-失败重试”,尝试重新执行Spark SQL。 通过DataArts Studio执行Spark SQL,设置执行参数或者调整SQL。
权限控制:在DataArts Studio控制台购买的CDM集群,按照DataArts Studio的权限体系进行权限管理;在CDM控制台购买的CDM集群,按照云数据迁移CDM服务的权限体系进行权限管理。 使用场景:在DataArts Studio控制台购买的CDM集群按工作空间隔离,需要在关联的工
用户名 需要配置MRS Manager的用户名和密码。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。
不同源端数据源的作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数,超出规格的Task排队等待运行。 性能影响因素 根据迁移模型,可以看出CDM数据迁移的速率受源端读取速度、网络
CDM与其他数据迁移服务有什么区别,如何选择? 华为云上涉及数据迁移的服务有以下几种: 云数据迁移服务 CDM 对象存储迁移服务 OMS 数据复制服务 DRS 主机迁移服务 SMS 数据库和应用迁移 UGO 数据快递服务 DES 上述数据迁移服务的区别请参见各个数据迁移服务区别。
year=2020,location=sun 新增dli-trans*内部临时桶授权策略 登录统一身份认证服务IAM控制台。 在左侧导航窗格中,选择“权限管理>权限”页签,单击右上方的“创建自定义策略”。 图1 创建自定义策略 在自定义策略配置页面,策略配置方式切换至JSON视图,然后按照如下策
获取CDM作业的JSON 修改JSON 创建DLF作业 获取CDM作业的JSON 进入CDM主界面,创建一个DWS到OBS的表/文件迁移作业。 在CDM“作业管理”界面的“表/文件迁移”页签下,找到已创建的作业,单击作业操作列的“更多 > 查看作业JSON”,如图1所示。 您也可以使用其它已创建好的CDM作业JSON。
参数后,日期类型将不符合格式的会存储为0000-00-00,更多详细信息可在MySQL官网文档查看。 如果CDM自动启用失败,请联系数据库管理员启用local_infile参数或选择不使用本地API加速。 如果是导入到RDS上的MySQL数据库,由于RDS上的MySQL默认没有开启LOAD
按需计费只包含集群实例费用,不包含公网流量费用。 集群和具体的区域绑定,购买的集群只能在绑定的区域使用。 购买集群后会自动创建CDM集群,如果需要绑定EIP,用户需要前往集群管理界面自行为CDM集群绑定EIP。 按需计费方式下各实例的具体价格,请参见产品价格详情。 折扣套餐(按需资源包) 这种购买方式建立在按需计费
查询条件不确定,行模式表扫描难以使用索引)的场景。 行模式 导入模式 导入数据到DWS时,用户可以指定导入模式: COPY模式,源数据经过管理节点后,复制到DWS的DataNode节点。 UPSERT模式,数据发生主键或唯一约束冲突时,更新除了主键和唯一约束列的其他列数据。 COPY
当前用户没有操作权限,请通过IAM检查账户权限! 用户权限不足 在CDM控制台操作时,请参考CDM权限管理为该用户授予足够的操作权限。 在DataArts Studio控制台操作时,请参考DataArts Studio权限管理为该用户授予足够的操作权限。 Cdm.0036 400 内部错误。 内部错误。
配置CDM作业字段映射 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以通过字段映射界面的可自定义新增字段,也可单击操作列下创建字段转换器。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。