检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 集群最大抽取并发数规格 该参数设置为适当的值可以有效提升迁移速度，过小则会限制迁移速度，过大则会导致源端负载过高、影响系统稳定性。 不同规格的CDM集群支持的最大抽取并发数规格不同，并发数上限建议设置为vCPU核数*2。
问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入，但并无脏数据。这种情况下需要调低并发任务数，即可避免此类问题。 父主题： 数据集成（CDM作业）
检测网络连通性：数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性，可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试，会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性检测异常可先参考
配置完成后单击“确定”。 已被绑定脱敏算法的分类规则不支持被重复绑定。 图1 新建脱敏 适配脱敏算法后，支持用户在线进行测试。输入测试数据，单击“测试”，在测试结果文本框中进行验证。 开启或关闭状态，只有启用状态下的脱敏策略才可生效。 查看数据脱敏效果 在DataArts Stu
大的场景，可以适当调高每次获取的数据量，以提高性能。 目的端优化 Kafka写入优化 Kafka写入通常速率极快，若有阻塞的场景请优先增加并发解决。 父主题： 任务性能调优
Company"); INSERT INTO dim_vendor VALUES ("2","B Company"); 单击“运行”按钮，测试脚本是否正确。 图2 运行脚本 测试通过后，单击“保存”按钮，在弹出框中输入脚本名称如：demo_taxi_dim_data，选择保存的脚本路径并单击“提交”按钮提交版本。
检测网络连通性：数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性，可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试，会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性检测异常可先参考
检测网络连通性：数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性，可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试，会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性检测异常可先参考
通过数据目录可以对各类资产进行搜索、过滤、查看详情等操作。 业务资产来自于数据架构组件中定义并发布过的逻辑实体与数据表。 技术资产中的数据连接来源于管理中心的数据连接，库表列等来源于数据目录的元数据采集任务。 指标资产来自于数据架构组件中定义并发布过的业务指标。 约束限制 业务资产和指标资产来自于数据架构组件
为某个值以及要对调用者隐藏参数的场景。 API测试 完成API参数的配置并保存后，单击左下角的“开始测试”，可进入API测试环节。 填写参数值，单击“开始测试”，即可在线发送API请求，在右侧可以看到API请求详情及返回内容。 测试过程中，如果数据服务API查询及返回数据的总时长超过默认60秒，会报超时错误。
主机地址：已开通ECS主机中开通的ECS主机的IP地址。 绑定Agent：已开通批量数据迁移增量包中开通的CDM集群。 单击“测试”，测试数据连接的连通性。如果无法连通，数据连接将无法创建。 测试通过后，单击“确定”，创建数据连接。 开发Python脚本 在“数据开发 > 脚本开发”模块中创建一个Py
fka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 目的端优化 OBS写入优化 若开启了自动合并可尝试关闭，否则请优先增加并发解决。 父主题： 任务性能调优
图10 任务配置 单击“显示高级属性”，可配置“抽取并发数”以及“是否写入脏数据”，如图10所示。 抽取并发数：设置同时执行的抽取任务数。并发抽取数取值范围为1-1000，若配置过大，则以队列的形式进行排队。 CDM迁移作业的抽取并发量，与集群规格和表大小有关。 按集群规格建议每1CUs（1CUs=1核4G）配置为4。
、作业测试运行，"1"表示调度态细粒度认证，支持数据开发细粒度脚本运行、作业测试运行、作业执行调度。 fgac_conn_status String 数据源连通性测试状态： UNKNOWN - 连通性未测试 TESTING - 连通性测试中 SUCCESS - 连通性测试成功 FAILED
Redis 请参见Redis数据连接参数说明。 SAP HANA 请参见SAP HANA数据连接参数说明。 单击“测试”，测试数据连接的连通性。如果无法连通，数据连接将无法创建。 测试通过后，单击“保存”，完成数据连接的创建。 相关操作 编辑数据连接：在数据连接页面的连接列表中，找到所需编
否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。 任务组 否 选择任务组。任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”，在“类型”的下拉选项中选择要新
size无法有效限制内存占用时，考虑显式设置该值来限制缓存数据的大小。 目的端优化 Kafka写入优化 Kafka写入通常速率极快，若有阻塞的场景请优先增加并发解决。 父主题： 任务性能调优
CDM迁移性能如何？ 单个cdm.large规格实例理论上可以支持1TB～8TB/天的数据迁移，实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 父主题： 数据集成（CDM作业）
可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 单击“测试”，测试数据连接的连通性。如果无法连通，数据连接将无法创建。 测试通过后，单击“确定”，创建数据连接。 参考 创建DWS数据连接，开启SSL连接时测试连接失败？ 请在DWS控制台，单击进入对应的DWS集群后，选择“安全设置”，然后关闭三权分立功能。
检测网络连通性：数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性，可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试，会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性检测异常可先参考
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
