检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
(Cdm.0523) 怎么解决? 问题描述 新建MRS Hive连接时,提示:CORE_0031:Connect time out. (Cdm.0523) 。 解决方案 新建MRS Hive连接时,提示无法下载配置文件,实际是用户权限不足。建议您新建一个业务用户,给对应的权限后重试即可。
此处支持选择共享VPC子网,即由VPC的所有者将VPC内的子网共享给当前账号,由当前账号在购买CDM集群时选择共享VPC子网。通过共享VPC子网功能,可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。如何共享VPC子网,请参考《共享VPC》。
输出详细待迁移数据表、文件个数、大小,用于后续校验。 分批配置迁移任务,保证迁移进度与速度。 校验文件个数以及文件大小。 在MRS中恢复HBase表并验证。 准备数据 项目 数据项 说明 取值示例 DES盒子 挂载地址 DES盒子在客户的虚拟机挂载的地址。 //虚拟机IP/huawei
表4 响应Body参数 参数 参数类型 描述 - File 导出包含API的EXCEL文件,会导出多个EXCEL文件,每个EXCEL文件最多200个API,多个EXCEL文件会打包到ZIP文件返回。 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code
FTP、HTTP。可校验CDM抽取的文件,是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制(“文件格式”为“二进制格式”时生效),配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件,例如build.sh和build.sh
如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 问题描述 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 解决方案 CDM服务暂不支持该操作,建议通过手动导出MySQL的数据文件,然后在服务器上开启SFTP服务,然后新建CDM作业,
通过节点可以执行的操作: 移动文件:将源文件或目录,移动到新目录中。 复制文件:复制源文件或目录。 重命名文件:重命名文件仅支持最后一级目录或文件重命名。 如重命名目录时,源文件或目录:obs://test/a/b/c/,目的目录:obs://test/a/b/d/;重命名文件时,源文件或目录:obs://test/a/b/hello
有关。 共享版默认发布到API网关共享版。发布成功后,您可以在API网关服务共享版控制台上查看所发布的API。 系统为API网关共享版的默认分组自动分配一个内部测试用的调试域名,此调试域名唯一且不可更改,此调试域名每天最多可以访问1000次。如果您不希望与其他API共享此规格,可
JSON格式:以JSON格式解析源文件,一般都是用于迁移文件到数据表的场景。 CSV格式 列表文件 当“文件格式”选择为“二进制格式”时,才有该参数。 打开列表文件功能时,支持读取OBS桶中文件(如txt文件)的内容作为待迁移文件的列表。该文件中的内容应为待迁移文件的绝对路径(不支持目录),例如直接写为如下内容:
此处支持选择共享VPC子网,即由VPC的所有者将VPC内的子网共享给当前账号,由当前账号在购买数据服务专享版集群时选择共享VPC子网。通过共享VPC子网功能,可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。如何共享VPC子网,请参考《共享VPC》。
如果CDM需要访问本地数据源、Internet的数据源,或者跨VPC的云服务,则必须要为CDM集群绑定一个弹性IP,或者使用NAT网关让CDM集群与其他弹性云服务器共享弹性IP访问Internet,具体操作请见添加SNAT规则。 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。
如何降低CDM使用成本? 如果是迁移公网的数据上云,可以使用NAT网关服务,实现CDM服务与子网中的其他弹性云服务器共享弹性IP,可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下: 假设已经创建好了CDM集群(无需为CDM集群绑定专用弹性
工作空间内的API配额已满,无法新建API怎么解决? DataArts Studio实例下数据服务专享版的API总分配配额默认为5000,如果工作空间内的API配额未达此配额,则您可以为当前工作空间分配更多已分配配额。 登录DataArts Studio管理控制台。 在旧版首页的
发布API 功能介绍 发布API。API只有发布后,才能够被调用。API发布时,可以将API发送至指定网关。 共享版,必须发送至API网关共享版。 专享版,可以依据自身需要,选择将API发送至API网关专享版、ROMA-APIC、或不发布网关。 发布请求的发起者若非审核人,需要API的审核人完成申请的审核。
所示。 图2 主机上做软连接 在文件中设置标准编码方式。 # -*- coding: utf-8 -*-;或者设置主机的编码格式:在python安装目录的Lib\site-packages文件夹下新建一个sitecustomize.py文件,在文件中写入如下内容。 # encoding=utf8
JobConfig.columns”、“toJobConfig.columnList”这2个参数)。 导出作业的JSON文件到本地,在本地手动修改JSON文件中的参数后(原理同2相同),再导回CDM。 推荐使用方法1,下面以HBase导到DWS为例进行说明。 解决方法一:CDM的字段映射界面增加字段
200版本CDM集群所支持的数据源。因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务(DWS)
300版本CDM集群所支持的数据源。因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务(DWS)
方式1:用户在对象存储OBS中创建以“dlf-log-{projectID}”命名的桶,并将操作权限赋予调度用户。 OBS路径仅支持OBS桶,不支持并行文件系统。 方式2:在IAM用户权限中增加全局OBS管理员权限。 父主题: 数据开发
300版本CDM集群所支持的数据源。因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务(DWS)