检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Elasticsearch数据连接参数说明 表1 Elasticsearch连接 参数 是否必选 说明 数据连接类型 是 Elasticsearch连接固定选择为Elasticsearch。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。
Redis连接参数说明 Redis连接适用于用户在本地数据中心或ECS上自建的Redis，适用于将数据库或文件中的数据加载到Redis。 Redis连接不支持SSL加密的Redis数据源。 连接本地Redis数据库时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作
ate格式，再重试。 Cdm.0037 非法参数。%s。 请根据错误提示修改为正确的参数，再重试。 Cdm.0038 连接超时。 请检查VPC和安全组规则。 Cdm.0039 连接名不允许修改。 不可修改连接名。 Cdm.0040 日志因为定期清理被删除。 请联系客服或技术支持人员协助解决。
Kafka连接参数说明 MRS Kafka 连接MRS上的Kafka数据源时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 MRS Kafka连接参数 参数名 说明 取值样例 名称 连接的
DMS Kafka连接参数说明 连接DMS的Kafka队列时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 DMS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的
配置调度身份 数据开发模块的作业执行中会遇到如下问题： 数据开发模块的作业执行机制是以启动作业的用户身份执行该作业。对于按照周期调度方式执行的作业，当启动该作业的IAM账号在调度周期内被停用或删除后，系统无法获取用户身份认证信息，导致作业执行失败。 如果作业被低权限的用户启动，也会因为权限不足导致作业执行失败。
业务指标用于指导技术指标，用于定义指标的设置目的、计算公式等，并不进行实际运算，可与技术指标进行关联。而技术指标是对业务指标的具体实现，定义了指标如何计算。 前提条件 在新建业务指标之前，您需要先完成流程设计，具体操作请参见流程设计。 新建业务指标并发布 在DataArts Studio
配置入口API算子 入口API算子是API工作流的入口，工作流发布后可通过调用入口API来调用API工作流。在入口API算子内需定义API工作流的名称、URL、参数协议、请求方式、审核人、安全认证以及请求参数。 表1 入口API算子 参数 说明 API名称 入口API名称即API工作流名称。
数据开发进阶实践 周期调度依赖策略 离散小时调度与作业最近依赖调度逻辑 补数据场景使用介绍 作业调度支持每月最后一天 获取SQL节点的输出结果值 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 数据开发调用数据质量算子并且作业运行的时候需要传入质量参数
Kafka连接 介绍 通过Kafka连接器可以与开源的Kafka数据源建立连接，并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。 连接样例 { "links": [ { "link-config-values":
DMS Kafka数据连接参数说明 表1 DMS Kafka数据连接 参数 是否必选 说明 数据连接类型 是 DMS Kafka连接固定选择为DMS Kafka。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。
说明： 因为DataArts Studio不支持底层服务（例如，以前的CDM、DLI等服务）的补数据实例和周期调度作业实例并发运行，为了保证补数据实例不影响周期调度作业实例运行，两种类型作业实例不会抢占并发，所以，作业的周期调度的日期与该作业补数据的业务日期不能重合，周期调度和
DWS数据连接开启SSL时测试连接失败怎么办？ 可能原因 可能是由于DWS集群的三权分立功能导致的。 解决方案 请在DWS控制台，单击进入对应的DWS集群后，选择“安全设置”，然后关闭三权分立功能。 图1 关闭DWS集群三权分立功能 父主题： 管理中心
华为联合亿信华辰提供数据入表全方位助力 作为Gartner认可的数据资产管理标杆厂商、IDC认证的中国数据治理解决方案市场第一厂商，亿信华辰一直走在数据资产化前列。面对数据入表的需求，亿信华辰不仅提供全套数据治理软件，让数据采集、加工、治理、应用更加便捷。还为企业搭建数据入表所需
EL表达式用法可参考EL表达式。 根据前一个节点的执行状态进行IF条件判断 场景说明 根据前一个CDM节点是否执行成功，决定执行哪一个IF条件分支。基于图1的样例，说明如何设置IF条件。 图1 作业样例 配置方法 登录DataArts Studio控制台，找到所需要的DataArts Studio实例，单击实
Apache HDFS数据连接参数说明 表1 Apache HDFS连接 参数 是否必选 说明 数据连接类型 是 Apache HDFS连接固定选择为Apache HDFS。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否
Apache Hive数据连接参数说明 表1 Apache Hive数据连接 参数 是否必选 说明 数据连接类型 是 Apache Hive连接固定选择为Apache Hive。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签
HBase连接 介绍 通过HBase连接，可以对MRS、FusionInsight HD、Apache Hadoop的HBase抽取、加载数据。 连接样例 { "links": [ { "link-config-values": { "configs":
通过CDM节点批量创建分表迁移作业 适用场景 业务系统中，数据源往往会采用分表的形式，以减少单表大小，支持复杂的业务应用场景。 在这种情况下，通过CDM进行数据集成时，需要针对每张表创建一个数据迁移作业。您可以参考本教程，通过数据开发模块的For Each节点和CDM节点，配合作业参数，实现批量创建分表迁移作业。
HDFS连接 介绍 通过HDFS连接，可以对MRS、FusionInsight HD或开源Hadoop的HDFS抽取、加载文件，支持CSV、Parquet和二进制格式。 连接样例 { "links": [ { "link-config-values":
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
