检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 新建MRS Hive连接前，需在MRS中添加一个kerberos认证用户并登录MRS管理页面更新其初始密码，然后使用该新建用户创建MRS连接。 如需连接MRS 2.x版本的集群，请先创建2
在并发任务数中指定“throttlingConfig.numExtractors”（抽取并发数）为“2”，则会分两个分片，一个处理9个10M的文件，一个处理1个200M的文件。 fromJobConfig.jsonReferenceNode 否 String 记录节点，当文件格
如果不同，您需要修改工作空间的企业项目。 当同一Agent连接多个MRS集群时，如果其中一个MRS集群被删除或状态异常，会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。 表1 MRS上的HDFS连接参数 参数名 说明 取值样例 名称 连接
参见配置OBS目的端参数。 MRS HDFS 导入数据到HDFS时，支持设置压缩格式。 参见配置HDFS目的端参数。 MRS HBase CloudTable 支持导入数据到HBase，创建新HBase表时支持设置压缩算法。 参见配置HBase/CloudTable目的端参数。 MRS
个文件，默认为|。 fromJobConfig.useQuery 否 Boolean 该参数设置为“true”时，上传到OBS的对象使用的对象名，为去掉query参数后的字符。 该参数设置为“false”时，上传到OBS的对象使用的对象名，包含query参数。 fromJobConfig
从字符串中获取指定字符串的第一个索引，没有则返回整数-1。例如从“aabaabaa”中获取“ab”的第一个索引1。 表达式：StringUtils.indexOf(value,"ab") 从字符串中获取指定字符串的最后一个索引，没有则返回整数-1。例如从“aFkyk”中获取“k”的最后一个索引4。 表达式：StringUtils
服务使用计划，再购买折扣套餐。 如果您希望享受折扣套餐的优惠价格，需要先购买一个“折扣套餐”，再购买一个和“折扣套餐”具有相同区域和规格的“按需计费”集群。 如果您先购买一个“按需计费”集群，再购买一个相同区域和规格的“折扣套餐”，则在购买折扣套餐之前已经产生的费用按“按需计费”
密码不会立即生效且作业会运行失败。 表1 ClickHouse连接参数 参数名 说明 取值样例 名称 连接名称。 cklink 数据库服务器 配置为要连接的数据库的IP地址或域名。 说明： 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2
选择操作列中的“更多 > 重启”。 图5 重启集群 重启CDM服务进程：只重启CDM服务的进程，不会重启集群虚拟机。 重启集群VM：业务进程会中断，并重启集群的虚拟机。 选择“重启集群VM”后单击“确定”。 父主题： 创建并管理CDM集群
如果不同，您需要修改工作空间的企业项目。 当同一Agent连接多个MRS集群时，如果其中一个MRS集群被删除或状态异常，会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。 表1 MRS上的HBase连接参数 参数名 说明 取值样例 名称 连
"cdm:cluster:get", "ecs:*:get*", "ecs:*:list*", "vpc:*:get*"
避免资源紧张导致迁移时间过长。 调整抽取并发数 对于低任务量场景，调整抽取并发数是性能调优的最佳方式。CDM迁移作业支持设置作业抽取并发数，同时也可以设置集群最大抽取并发数。 CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行
CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度，您可参考下文有效配置抽取并发数。 集群最大抽取并发数的上限建议为vCPU核数*2，如表1所示。 表1 集群最大抽取并发数配置建议
迁移文件时加解密 在迁移文件到文件系统时，CDM支持对文件加解密，目前支持以下加密方式： AES-256-GCM加密 KMS加密 AES-256-GCM加密 目前只支持AES-256-GCM（NoPadding）。该加密算法在目的端为加密，在源端为解密，支持的源端与目的端数据源如下。
速度。 数据仓库服务(DWS)数据源约束 DWS主键或表只有一个字段时，要求字段类型必须是如下常用的字符串、数值、日期类型。从其他数据库迁移到DWS时，如果选择自动建表，主键必须为以下类型，未设置主键的情况下至少要有一个字段是以下类型，否则会无法创建表导致CDM作业失败。 INTEGER
迁移文件时加解密 在迁移文件到文件系统时，CDM支持对文件加解密，目前支持以下加密方式： AES-256-GCM加密 KMS加密 AES-256-GCM加密 目前只支持AES-256-GCM（NoPadding）。该加密算法在目的端为加密，在源端为解密，支持的源端与目的端数据源如下。
保用户隔离。本地数据库使用用户Ruby运行，数据库仅侦听127.0.0.1，用户没有远程访问数据库的权限。 用户实例发放完毕后，CDM将虚拟机的root和Ruby用户密码更改为随机密码且不会保存在任何地方，以阻止CDM管理员访问用户实例和含有密码信息的数据库。 CDM实例迁移以推
Elasticsearch分页查询，用来设置分页size的大小。 1000 ScrollId超时时间配置 Elasticsearch scroll查询时会记录一个scroll_id，超时或者scroll查询结束后会清除请求的srcoll_id，通过设置这个超时时间配置，来指定scroll_id超时时间。
> 现有集群”，单击集群名称进入集群详情页面，单击“组件管理”。 单击“下载客户端”。“客户端类型”选择“仅配置文件”，“下载路径”选择“服务器端”或“远端主机”，自定义文件保存路径后，单击“确定”开始生成客户端配置文件。 将生成的配置文件，保存到本地路径。 具体可参见MapReduce服务文档。
BINARY_FILE：二进制格式，不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 当选择“BINARY_FILE”时，目的端也必须为文件系统。 fromJobConfig.lineSeparator 否 String 文件中的换行符，默认自动识别"\\n"、"\\r"或"\\
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
