检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以便后面查看，可通过该参数配置，写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 图7 任务配置 单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。
es页签，可以看到每条SQL的执行进度。 CDM在作业BOOTING阶段无法查看日志，如果找不到Yarn任务，请联系CDM运维查看后台日志，获取Application ID。日志形如： 联系CDM运维查看后台日志。 父主题： 故障处理类
以便后面查看，可通过该参数配置，写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 图9 任务配置 单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。
以便后面查看，可通过该参数配置，写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 图7 任务配置 单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。
以便后面查看，可通过该参数配置，写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 图9 任务配置 单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。
通需满足如下条件： CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互
通需满足如下条件： CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互
db/emp/emp.txt (state=,code=0) 原因分析 使用HDFS客户端get文件可以正常获取，所以不是文件块丢失。 查看HDFS服务的所有DataNode实例是否都已启动，此时DataNode状态为停止会获取不到块，以及cdm和DataNode节点的网络是否正常。
k”中获取“k”的最后一个索引4。 表达式：StringUtils.lastIndexOf(value,"k") 从字符串中指定的位置往后查找，获取指定字符串的第一个索引，没有则转换为“-1”。例如“aabaabaa”中索引3的后面，第一个“b”的索引是5。 表达式：StringUtils
单击集群名称进入“现有集群”页面，查询弹性ip，如下图所示。 通过弹性IP地址，登录MRS集群后台。 用户名：admin 密码：创建集群时的密码 执行ip a | grep wsom命令查询MRS集群的浮动ip（wsom标志），如下图所示。 返回创建MRS连接界面，输入查询到的IP，创建连接成功。
创建源数据连接，一直报错用户名和密码错误，但是实际填的没有错 问题描述 创建Mysql链接，确认过用户名、密码没有错，同样的配置，在roma上建立数据连接能成功。 故障分析 查看后端日志，考虑用户Mysql侧有白名单限制，测试内网相通的另一台ECS Mysql客户端使用这个用户链接。 解决方案 再次核实账号密码无误
配置完成后单击“保存并提交版本”，以保存主作业。 创建主作业和子作业完成后，通过测试运行主作业“集成管理”，检查数据集成作业创建情况。运行成功后，创建并运行CDM子作业成功。 图11 查看作业创建情况 注意事项 由于CDM版本不同，某些属性可能不支持，比如fromJobConfig.BatchJob。当
连接PostgreSQL/SQLServer时，相关参数如表1所示，金仓和GaussDB数据源可通过PostgreSQL连接器进行连接，支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。
1/{project_id}/clusters cdm:cluster:create √ × 查询集群列表 GET /v1.1/{project_id}/clusters cdm:cluster:list √ × 查询集群详情 GET /v1.1/{project_id}/clusters/{cluster_id}
sql，则多半是队列资源限制，打开yarn，搜索租户的队列，查看Spark2x-JDBCServer2x的yarn任务，此时可能会搜索不到yarn任务，或者State为ACCEPTED，这两种情况都是资源不足起不了yarn任务的现象。打开yarn的schedule，查看队列资源，关注以下几个参数： Used
群处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例（指DataArts Studio实例中的CDM集群）与MRS集群同区域情况下，同虚拟私有云、
产品优势 用户在云上进行数据集成、数据备份、新应用开发时，经常会涉及到数据迁移。通常情况下用户要进行数据迁移，会开发一些数据迁移脚本，从源端读取数据再写入目的端，相对这样传统的做法，CDM的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资
Gbps，理论极限值在40TB左右；cdm.4xlarge实例规格网卡的基准/最大带宽为36/40 Gbps，理论极限值在360TB左右。对传输速度有要求的情况下可以使用多个数据集成实例实现。 上述数据量为理论极限值，实际传输数据量受数据源类型、源和目的数据源读写性能、带宽等多方面因素制约，实测cdm
单击“下一步”配置任务参数，迁移存量数据时，参数配置保持默认即可。 单击“保存并运行”，进入作业管理界面，查看作业执行进度和结果。 作业执行成功之后，单击作业后面的“历史记录”查看作业的写入行数、读取行数、写入字节、写入文件数和执行日志。 父主题： 使用CDM上传数据到OBS
如果需要转换源端字段内容，可在该步骤配置，详细请参见字段转换，这里选择不进行字段转换。 图2 字段映射 单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
