检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在并发任务数中指定“throttlingConfig.numExtractors”（抽取并发数）为“2”，则会分两个分片，一个处理9个10M的文件，一个处理1个200M的文件。 fromJobConfig.useMarkerFile 否 Boolean 选择是否开启作业标识文件
批量启动作业依然会将组内作业运行，因此在用户隔离场景不建议使用按组批量启动作业功能。 批量运行作业 勾选一个或多个作业后，单击“运行”可批量启动作业。 批量删除作业 勾选一个或多个作业后，单击“删除”可批量删除作业。 批量导出作业 单击“导出”，弹出批量导出页面，如图1。 图1 批量导出页面
数据。最近一个月新增的数据量是60TB。 使用CDM将CDH集群中的HBase HFile抽取出来存入到MRS（MapReduce） HDFS中，再通过HBase修复命令重建HBase表。基于这种迁移方案，可以使用以下2种迁移方式同时进行： CDM通过专线直接迁移近一个月的数据以及备HBase集群的数据：
目的端作业配置 目的连接名称：选择创建云搜索服务连接中的“csslink”。 索引：待写入数据的索引，这里可以选择一个云搜索服务中已存在的索引，也可以手动输入一个不存在的索引名称，名称只能全部小写，CDM会自动在云搜索服务中创建该索引。一次迁移多个索引时，该参数将被禁止配置，CDM自动在目的端创建索引。
未满足前提条件，服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大，服务器无法处理，因此拒绝请求。为防止客户端的连续请求，服务器可能会关闭连接。如果只是服务器暂时无法处理，则会包含一个Retry-After的响应信息。 414
目的端作业配置 目的连接名称：选择创建云搜索服务连接中的“csslink”。 索引：待写入数据的索引，这里可以选择一个云搜索服务中已存在的索引，也可以手动输入一个不存在的索引名称，名称只能全部小写，CDM会自动在云搜索服务中创建该索引。一次迁移多个索引时，该参数将被禁止配置，CDM自动在目的端创建索引。
在并发任务数中指定“throttlingConfig.numExtractors”（抽取并发数）为“2”，则会分两个分片，一个处理9个10M的文件，一个处理1个200M的文件。 fromJobConfig.jsonReferenceNode 否 String 记录节点，当文件格
} ] } 示例2：拒绝用户删除CDM集群 拒绝策略需要同时配合其他策略使用，否则没有实际作用。用户被授予的策略中，一个授权项的作用如果同时存在Allow和Deny，则遵循Deny优先原则。 如果您给用户授予CDM FullAccess的系统策略，但不希望用户拥有CDM
如果不同，您需要修改工作空间的企业项目。 当同一Agent连接多个MRS集群时，如果其中一个MRS集群被删除或状态异常，会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。 表1 MRS上的HBase连接参数 参数名 说明 取值样例 名称 连
云数据迁移”、“数据集成”均指CDM服务。 当前DataArts Studio已提供全新的离线集成作业能力。离线集成作业作为数据开发组件的一个作业类型，支持跨集群下发数据集成作业，实现常用的批作业迁移能力。 相比于传统的依靠CDM集群进行生命周期管理CDM迁移作业，离线集成作业依
选择STANDALONE模式时，CDM支持在多个MRS集群的HDFS之间迁移数据。 若在一个CDM中同时连接两个及以上开启Kerberos认证且realm相同的集群，只能使用EMBEDDED运行模式连接其中一个集群，其余需使用STANDALONE。 linkConfig.properties
eline上执行drop table将表从metastore中删除，然后作业配置 “不存在时创建”重跑作业。或者删除后自己执行建表语句重建一个Hudi表。 对于MOR表来说，删表需要把ro与rt表也同时删除。否则会出现schema残留的问题。 删除空值后重跑作业。 具体办法： 在
说明 取值样例 基本参数 模式或表空间 表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面，分库连接时此处默认展示对应第一个后端连接的表空间。用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的账号是否有元数据查询的权限。
选择STANDALONE模式时，CDM支持在多个MRS集群的HDFS之间迁移数据。 若在一个CDM中同时连接两个及以上开启Kerberos认证且realm相同的集群，只能使用EMBEDDED运行模式连接其中一个集群，其余需使用STANDALONE。 linkConfig.properties
1所示。 表1 LogHub（SLS）连接参数 参数名 说明 取值样例 名称 连接名称。 sls_link 日志服务endPoint 访问一个项目（Project）及其内部日志数据的URL。 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。本服
原因分析 这种情况一般是在迁移到DWS时数据有中文，且创建作业时选择了目的端自动建表的情况下。原因是DWS的varchar类型是按字节计算长度，一个中文字符在UTF-8编码下可能要占3个字节。当中文字符的字节超过DWS的varchar的长度时，就会出现错误：value too long
参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mongodb_link 服务节点 一个或者多个节点的地址，以“;”分隔。建议同时配置多个节点。 192.168.0.1;192.168.0.2 端口 连接的Cassandra节点的端口号。
连接参数 参数 是否必选 类型 说明 linkConfig.host 是 String 配置为Elasticsearch服务器的IP地址或域名，包括端口号，格式为“ip:port”，多个地址之间使用分号（；）分隔，例如：192.168.0.1:9200;192.168.0.2:9200。
记录。 新增 导入前准备语句 执行任务前需要先执行的MongoDB查询语句。 说明： “导入前准备语句”格式是json，只有两个键值对，第一个键值对是配置操作类别，key是"type"，value只支持"remove"和"drop"。第二个键值对是针对不同操作类别，需要配置的数据条件或者集合名称。
创建源数据连接，一直报错用户名和密码错误，但是实际填的没有错 问题描述 创建Mysql链接，确认过用户名、密码没有错，同样的配置，在roma上建立数据连接能成功。 故障分析 查看后端日志，考虑用户Mysql侧有白名单限制，测试内网相通的另一台ECS Mysql客户端使用这个用户链接。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
