检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数名 说明 取值样例 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏
登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。 或参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。在DataArts Studio控制台首页,选择对应工作空间的“数据集成”模块,进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts
SQL迁移到DWS时,可能会因为上述原因导致迁移失败。 使用GDS模式快速导入数据到DWS时,需要配置相关安全组或防火墙策略,允许DWS/LibrA的数据节点访问CDM IP地址的25000端口。 使用GDS模式导入数据到DWS时,CDM会自动创建外表(foreign table
参数类型 参数名 说明 取值样例 基本参数 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量
参数,保证在每次抽取写入数据间隔,CDM一直保持正常会话。 解决方案 通过增大jdbc连接超时时间的控制,重新迁移作业。 通过作业配置中的源端和目标端连接名称,进入到cdm作业管理—>连接管理,找到该连接器名称。 编辑连接器,显示高级属性—>连接属性—>添加:属性名称socketTimeout 值:36000(单位为秒),测试连接,保存。
已新建连接,详情请参见创建CDM与数据源之间的连接。 CDM集群与待迁移数据源可以正常通信。 操作步骤 进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的“作业管理”。 选择“表/文件迁移 > 新建作业”,进入作业配置界面。 图1 新建表/文件迁移的作业 选择源连接、目的连接: 作业名称:用
终止。因为Mysql服务机制无法在操作过程中停止文件传输,此情况下,CDM界面显示写入记录与实际更新行数会不一致。 Mysql Local模式详情请参见:https://dev.mysql.com/doc/refman/8.0/en/load-data.html linkConfig
Server,Oracle NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 不支持DWS物理机纳管模式。 数据湖探索(DLI) - MRS ClickHouse 数据仓库:MRS ClickHouse,数据湖探索(DLI) MRS ClickHouse建议使用的版本:21
Server,Oracle NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 不支持DWS物理机纳管模式。 数据湖探索(DLI) - MRS ClickHouse 数据仓库:MRS ClickHouse,数据湖探索(DLI) MRS ClickHouse建议使用的版本:21
参数名 说明 取值样例 基本参数 数据库名称 选择待迁移的数据库。 mongodb 集合名称 相当于关系数据库的表名。单击输入框后面的按钮可进入选择集合名的界面,用户也可以直接输入集合名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
MySQL实例或DWS集群所在的区域、VPC、子网、安全组与CDM集群不一致,则需要通过网络配置、EIP或专线等方式打通与CDM集群之间的网络。 操作步骤 进入购买云数据迁移服务界面。 创建CDM集群配置样例如下: 当前区域:选择CDM集群的区域,不同区域的资源之间内网不互通,这里必须选择与MySQL实例或DWS集群所在区域一致。
接端口。 另外,如果创建了企业项目,则企业项目也会影响CDM集群与其他云服务的网络互通,只有企业项目一致的云服务才能打通网络。 操作步骤 进入购买云数据迁移服务界面。 配置CDM集群参数,各参数说明如表1所示。 表1 CDM集群参数 参数名称 样例 说明 当前区域 华北-北京一
使用命令恢复历史不变的数据 这里以恢复“/hbase/data/default/table_20180811”表为例,恢复步骤如下: 进入MRS Client所在的节点,例如master1节点。 切换为omm用户。 su – omm 加载环境变量。 source /opt/client/bigdata_env
说明 取值样例 数据库名称 选择待导入数据的数据库。 mddb 集合名称 选择待导入数据的集合,相当于关系数据库的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。 COLLECTION
访问DLI数据库时鉴权所需的AK和SK。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图1所示。 图1 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密
可重新配置作业参数,支持重新选择源连接和目的连接。 编辑作业JSON 直接编辑作业的JSON文件,作用等同于修改作业的参数配置。 操作步骤 进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的“作业管理”。 单击“表/文件迁移”显示作业列表,可对单个作业执行如下操作: 修改
对请求进行加密签名,可标识发送方,并防止请求被修改。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图1所示。 图1 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密
的作业参数 参数名 说明 取值样例 表名 写入数据的HBase表名。如果是创建新HBase表,支持从源端复制字段名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详
Server,Oracle NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 不支持DWS物理机纳管模式。 数据湖探索(DLI) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI),MRS ClickHouse Hadoop:MRS HDFS,MRS