检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
int 0 数据缓存队列大小，默认为0，即表示缓存队列不考虑数据大小，只按照数据条数计算。在debezium.max.queue.size无法有效限制内存占用时，考虑显式设置该值来限制缓存数据的大小。 jdbc.properties.socketTimeout int 300000
架构和标准的统一是全流程高效运作、语言一致的前提。 当前企业数据面临很多的问题：没有统一的数据标准，各业务系统间数据无法充分共享，关键核心数据无法识别及跨系统无法拉通等。为有效管理企业数据资产，实现数据价值的最大化，急需建立一个完善的数据治理框架体系，为企业数字化转型打下坚实的数据基础。
错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码：401 表16 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DS.6000，请求处理失败。 error_msg String
错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码：401 表16 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DS.6000，请求处理失败。 error_msg String
CDM是否支持动态数据实时迁移功能？ CDM是否支持集群关机功能？ 如何使用表达式方式获取当前时间？ 日志提示解析日期格式失败时怎么处理？ 字段映射界面无法显示所有列怎么处理？ CDM迁移数据到DWS时如何选取分布列？ 迁移到DWS时出现value too long for type
错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码：401 表9 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DS.6000，请求处理失败。 error_msg String
事务模式迁移 CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理：如果
当节点运行超时导致的失败不会重试时，您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后，后续节点处理策略 是 节点执行失败后的操作： 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 终止当前作业执行计
错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码：401 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DS.6000，请求处理失败。 error_msg String
错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码：401 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DS.6000，请求处理失败。 error_msg String
错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码：401 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DS.6000，请求处理失败。 error_msg String
错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码：401 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DS.6000，请求处理失败。 error_msg String
时，数据源默认会使用数据连接上的账号进行认证鉴权。因此，即使已通过配置角色/权限集对用户进行权限管控，当用户在进行数据开发时，权限管控依然无法生效。 而在启用账号映射策略后，在DataArts Studio数据开发执行脚本以及测试运行作业时，数据源将不再使用数据连接上的账号，而是
象等权限，否则会导致迁移失败。dli-trans*内部临时桶的权限策略添加请参见新增dli-trans*内部临时桶授权策略。 表1 DLI作为目的端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。
事务模式迁移 CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理：如果
支持文件增量迁移、关系型数据库增量迁移、HBase增量迁移，以及使用Where条件配合时间变量函数实现增量数据迁移。 事务模式迁移 支持当迁移作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密
Studio数据开发组件执行脚本、测试运行作业时，数据源（此处指MRS/DWS数据源）会使用数据连接上的账号进行认证鉴权。因此在数据开发时，权限管控依然无法生效。需要您启用细粒度认证，使得在数据开发执行脚本、测试运行作业时，使用当前用户身份认证鉴权，从而做到实现不同用户具有不同的数据权限，使角色/权限集中的权限管控生效。
因此如果当前以华为账号登录，则会导致联通性测试失败。因此在DWS联通性测试前，需要先完成用户同步，再将当前登录账号切换为IAM子用户账号，且至少具有DWS Database Access权限。 图1 联通性测试 如果联通性测试失败，可从以下方面进行排查： 确保数据连接上的数据源可用。
在本章节您可以学习到数据开发模块资源管理、作业编辑等功能。 场景说明 用户在使用DLI服务时，大部分时间会使用SQL对数据进行分析处理，有时候处理的逻辑特别复杂，无法通过SQL处理，那么可以通过Spark作业进行分析处理。本章节通过一个例子演示如何在数据开发模块中提交一个Spark作业。 操作流程如下：
当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 连接FTP或SFTP服务器时，连接参数相同，如表1所示。 表1 FTP/SFTP连接参数 参数名 说明 取值样例 名称 连接的名称，根
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
