检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
8192 数据缓存队列条数，默认为8192，当源表中单条数据过大时（如1MB），缓存过多数据会导致内存溢出，可以考虑减小该值。 debezium.max.queue.size.in.bytes int 0 数据缓存队列大小，默认为0，即表示缓存队列不考虑数据大小，只按照数据条数计算。在debezium
如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 directory/ 文件格式 传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景，二进制格式适用于文件迁移场景。例如：CSV格式。
Elasticsearch连接参数说明 Elasticsearch连接适用于第三方云的Elasticsearch服务，以及用户在本地数据中心或ECS上自建的Elasticsearch。 Elasticsearch连接器仅支持非安全模式的Elasticsearch集群。 作业运行中
常，如何处理？ 问题描述 在ECS上调试好的shell脚本，在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果： DLF脚本运行结果： 图1 脚本运行结果 解决方案 添加如下两条命令： export LD_LIBRARY_P
致执行调度报错。作业执行调度前必须保证作业存在一个版本。 解决方案 提交作业（不是脚本）版本。 执行作业调度。 图1 提交版本 父主题： 数据开发
SQL和Spark SQL脚本使用的数据连接为“MRS API连接”还是“通过代理连接”。 “MRS API连接”模式下DataArts Studio通过API把脚本提交给MRS，然后查询是否执行完成；而MRS不会将具体的错误原因反馈到DataArts Studio，因此导致数据开发脚本执行界面只能显示执行成功还是失败。
取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如
移失败。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。
values。 原因分析 DWS数据库为oracle兼容模式时，会将空字符串视为NULL做处理，因此在有数据的场景下，不能添加默认值为空串的非空列。 解决方案 1. 修改源端DDL语句，新增列的默认值设置为非空字符串。 2. 如果无法修改DDL，则需要将DWS的数据库更换为mysql兼容模式，建库语句如：create
"cities[0].areaCode")} current For Each节点在处理数据集的时候，是一行一行进行处理的。Loop.current表示当前遍历到的For Each节点“数据集”中定义的二维数组的某一行，该数据行为一维数组。 一般定义格式为#{Loop.current[0]}、#{Loop
EIP服务：如果您为数据集成集群或数据服务专享版集群开通了公网IP，则会产生弹性公网IP服务费用，收费标准请参见EIP价格详情。 DEW服务：在数据集成或创建管理中心连接时，如果启用了KMS，则会产生密钥管理费用，收费标准请参见DEW价格详情。 APIG服务：在使用数据服务共享版发布A
方式1：待节点测试运行完成后，在当前节点鼠标右键选择查看日志。 方式2：通过画布上方的“前往监控”，在实例监控中展开作业实例，查看节点日志。 父主题： 数据开发
使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。
连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 yashan_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 1688 数据库名称 配置为要连接的数据库名称。
正则表达式分隔半结构化文本 在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连
实例监控”界面，查看依赖作业的运行状态。如果作业有自依赖，扩大搜索时间窗口，查看是否当前作业历史实例失败，导致作业在等待运行，而没有生成新作业实例。 父主题： 数据开发
连接方式应该选择API连接还是代理连接？ API连接仅支持在数据开发组件使用。 因此如无特殊需求，为保证数据架构、数据质量、数据目录、数据服务等组件能够使用连接，推荐配置为“通过代理连接”。 父主题： 管理中心
创建并配置简单模式工作空间 创建简单模式工作空间 设置工作空间配额 （可选）修改作业日志存储路径 父主题： 购买并配置DataArts Studio
新建HANA连接时，在高级属性中添加属性“distribution”，并将值置为“off”。 完成配置后，CDM即可正常连接HANA集群。 父主题： 数据集成（CDM作业）
账号是否有元数据查询的权限。 说明： 该参数支持配置正则表达式，实现导出满足规则的所有数据库。 default 表名 单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。 如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的账号是否有元数据查询的权限。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
