检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据加密密钥 “加密方式”选择“AES-256-GCM”时显示该参数,密钥由长度64的十六进制数组成。 请您牢记这里配置的“数据加密密钥”,解密时的密钥与这里配置的必须一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E3
数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按钮进行删除。 单击“保存”回到连接管理界面,完成MRS
数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按钮进行删除。 单击“保存”回到连接管理界面,完成MRS
取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 sap_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。
由于MySQL和DWS存储中文时编码不一样,所需的长度也不一样,一个中文字符在UTF-8编码下可能要占3个字节。该参数选择为“是”后,在DWS中自动创表时,会将字符类型的字段长度设置为原表的3倍,避免出现DWS表的字符字段长度不够的报错。 其他可选参数保持默认即可,详细说明可参见配置DWS目的端参数。
与加密时配置的“toJobConfig.dek”(导入时配置的数据加密密钥)一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 fromJobConfig.iv 否 String 解密需要的初始化向量,初始化向量由长度32的十六进制数组成,且必须与加密时配置的“toJobConfig
表1 Doris作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配
isNumeric(value) 获取字符串最左端的指定长度的字符,例如获取“abc”最左端的2位字符“ab”。 表达式:StringUtils.left(value,2) 获取字符串最右端的指定长度的字符,例如获取“abc”最右端的2位字符“bc”。 表达式:StringUtils
编辑作业JSON 直接编辑作业的JSON文件,作用等同于修改作业的参数配置。 操作步骤 进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的“作业管理”。 单击“表/文件迁移”显示作业列表,可对单个作业执行如下操作: 修改作业参数:单击作业操作列的“编辑”可修改作业参数。 运
Studio赠送的4核CPU、8G内存的虚拟机,仅支持作业单并发运行。 虚拟私有云 vpc1 CDM集群所属VPC、子网、安全组,需确保CDM集群与待连接的数据源能正常通信。用户可以根据CDM迁移的数据源端、目的端所处网络进行选择: 如果CDM集群与待连接的数据源所属不同的VPC,或者
行如下配置: 关闭HANA集群的Statement Routing开关。但须注意,关闭Statement Routing,会增加配置节点的压力。 新建HANA连接时,在高级属性中添加属性“distribution”,并将值置为“off”。 完成配置后,CDM即可正常连接HANA集群。
查询集群信息,获取公网IP,从CDM集群curl源端数据库的地址,如下所示。 从结果看考虑是CDM集群自身问题。通过EIP查询对应公网IP的绑定情况是未绑定的。 建议先解除绑定,再绑定后问题解决。 解决方案 释放掉EIP之后,给CDM集群重新绑定EIP;或者给CDM VPC的委托,然后可以检测这个EIP是否异常
操作场景 CDM在配置字段映射时提示字段的数据类型不支持,要求删除该字段。如果需要使用该字段,可在源端作业配置中使用SQL语句对字段类型进行转换,转换成CDM支持的类型,达到迁移数据的目的。 操作步骤 修改CDM迁移作业,通过使用SQL语句的方式迁移。 SQL语句格式为:“select
MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 说明: 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接M
下载CDM集群日志 操作场景 本章节指导用户获取集群的日志。集群的日志可用于查看作业运行记录,定位作业失败原因等。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。 或参考访问DataArts Studio实例控制台,登录DataArts
Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。 这里以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程: 获取CDM作业的JSON 修改JSON 创建DLF作业 获取CDM作业的JSON
单击监控指标页面左上角的返回按钮,进入云监控服务的界面,选择“云数据迁移服务”服务监控项对应操作列的“创建告警规则”。 图1 “云数据迁移服务”服务监控项 根据界面提示设置CDM集群的告警规则。 设置完成后,单击“确定”。当符合规则的告警产生时,系统会自动进行通知。 更多关于监控告警的信息,请参见云监控用户指南。 父主题:
abc 如果使用包围符,导出的数据则为: 3,"hello,world",abc 如果数据库中的数据已经包含了双引号(""),那么使用包围符后,导出的CSV文件的包围符会是三个双引号(""")。例如字段的值为:a"hello,world"c,使用包围符后导出的数据为: """a"hello
abc 如果使用包围符,导出的数据则为: 3,"hello,world",abc 如果数据库中的数据已经包含了双引号(""),那么使用包围符后,导出的CSV文件的包围符会是三个双引号(""")。例如字段的值为:a"hello,world"c,使用包围符后导出的数据为: """a"hello
有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hbase_01 单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按钮进行删除。 FusionInsight