检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如图1所示，第一个Rest Client调用了MRS服务查询集群列表的API，图2为API返回值的JSON消息体。 使用场景：需要获取集群列表中第一个集群的cluster Id，然后作为参数传递给后面的节点使用。 关键配置：在第一个Rest Client的“响应消息体解析为传递参数定义”配置中，配置clusterId=clusters[0]
钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 说明： 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全，访问密钥仅在初次生成时自动下载，后
getNodeOutput("get_cluster"),"tables[0].table_name")}”，如图1所示。 表达式说明如下： 获取作业中“get_cluster”节点的执行结果（“Job.getNodeOutput("get_cluster")”），执行结果是一个JSON字符串。
stdout=PIPE, stderr=PIPE) #kinit.stdin.write('Admin@123$#\n'.encode()) #kinit.wait() with krbcontext(using_keytab=True,principal='impala1@F5840AB1_749
需要注意的事项请参见下表。 表4 注意事项 类型名称 使用和操作限制 数据库限制 支持开启SASL_PLAINTEXT的Kafka实例，包括SCRAM-SHA-512及PLAIN认证机制。 不支持开启SASL_SSL的Kafka实例。 使用限制 通用： 实时同步过程中，不支持IP、端口、账号、密码修改。
ratings_obs2dws（CDM Job节点）：在节点属性中，选择步骤2：数据集成中的CDM集群，并关联CDM作业“ratings_obs2dws”。 Waiting（Dummy节点）：不执行任何操作，作为等待前侧节点执行结束的标识。 top_rating_movie（DWS SQL节点）：在节点属性中，关联创建DWS
选择是否开启作业标识文件的功能。当源端路径下存在启动作业的标识文件时才启动作业，否则会挂起等待一段时间，等待时长在下方“fromJobConfig.waitTime”（等待时间）参数中配置。 fromJobConfig.markerFile 否 String 启动作业的标识文件名。指定文件后
在下拉框中选择数据监控责任人。该责任人为质量规则实施责任人，可以手动输入名字或直接选择已有的责任人。 标准层级 global：全局级别。 domain：非全局级别。 用户自定义字段 该配置项是在DataArts Studio数据架构的“配置中心 > 标准模板管理”中添加的自定义项。您可
Hive数据连接中选择Agent代理的CDM集群为2.10.0.300及以上版本。 MRS Hive数据连接中的用户账号需要同时满足如下条件： 需要配置至少具备Cluster资源管理权限的角色（可直接配置为默认的Manager_operator角色）。 需要配置hive用户组。 为实现DWS数据源的数据访问审计，需要满足如下条件：
过所有节点”，则该连线后面的节点A以及A后的所有节点均会被跳过。 #{(Job.getNodeStatus("DQM")) == "success" ? "true" : "false"} 图2 设置条件 关于EL表达式的语法，您可以查看EL表达式参考；关于IF条件的使用，您可以查看IF条件判断教程。
安全的数据获取和数据发布能力。如果没有这些数据治理工具，元数据缺失，湖里的数据质量就没法保障，最终会由数据湖变质为数据沼泽。 随着大数据和AI的发展，数据湖中数据的价值逐渐水涨船高，价值被重新定义。数据湖能给企业带来多种能力，例如实现数据的集中式管理，帮助企业构建更多优化后的运营
checkpointing.interval=1000 用来控制保留的checkpoint数量 -yD：state.checkpoints.num-retained=10 查询checkpoint列表时，配置-s参数，鼠标单击参数值输入框，checkpoint列表参数值会自动弹出。 说明： 若集群为MRS
创建OBS目录。 说明： 如果OBS桶创建超过上限，系统会自动提示“创建obs目录失败，错误原因：[Create OBS Bucket failed:TooManyBuckets:You have attempted to create more buckets than allowed]”。
特定版本要求时使用默认版本号2.3.2，有特殊使用要求时选择对应的版本即可。 作业特性 否 作业使用的Spark镜像类型，当前支持基础型、AI增强型和自定义的Spark镜像。 自定义镜像需要选择自定义镜像名称和对应版本。仅当DLI队列为容器化队列类型时，出现本参数。 自定义镜像是
checkpointing.interval=1000 用来控制保留的checkpoint数量 -yD：state.checkpoints.num-retained=10 查询checkpoint列表时，配置-s参数，鼠标单击参数值输入框，checkpoint列表参数值会自动弹出。 说明： 若集群为MRS
行创建。 数据集成配置 Redis部署方式 是 选择Redis部署方式。 包括Single模式、Cluster模式、Proxy模式。 若手动参数选择集群名模式时，仅支持Cluster模式。 Redis数据库索引 是 Redis部署方式为Single时的必选项。 类似关系数据库的数据库名称。
instance_id 否 String 实例id datasource_type 否 String 数据源类型,hive,dws,dli cluster_id 否 String 集群id,dli传DLI，dws和mrs-hive传对应的集群id schema_name 否 String
request将间隔40分钟。 clean.async.enabled boolean true - 做历史版本数据文件清理的开关。 clean.retain_commits int 30 次 要保留的commit数。这些commit关联的数据文件版本将被保留 num_of_commits *
bs://dlfexample”，用于存放Spark作业的JAR包。 已开通数据湖探索服务DLI，并创建Spark集群“spark_cluster”，为Spark作业提供运行所需的物理资源。 获取Spark作业代码 本示例使用的Spark作业代码来自maven库（下载地址：https://repo
request将间隔40分钟。 clean.async.enabled boolean true - 做历史版本数据文件清理的开关。 clean.retain_commits int 30 次 要保留的commit数。这些commit关联的数据文件版本将被保留 num_of_commits *
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
