检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
mo”数据连接为例。 如未建立，请参考配置DataArts Studio数据连接参数进行操作。 已在DLI中创建数据库，以“dli_db”数据库为例。 如未创建，请参考新建数据库进行操作。 已在“dli_db”数据库中创建数据表trade_log和trade_report。 如未创建，请参考新建数据表进行操作。
数名，然后在主作业中定义的参数值，传递到子作业以供使用。此处子作业参数名定义为name和score，其值为分别为数据集中的第一列和第二列数值，使用EL表达式#{Loop.current[0]}和#{Loop.current[1]}。 图5 主作业样例 而For Each节点中所选的子作业，则需要定义For
数名，然后在主作业中定义的参数值，传递到子作业以供使用。此处子作业参数名定义为name和score，其值为分别为数据集中的第一列和第二列数值，使用EL表达式#{Loop.current[0]}和#{Loop.current[1]}。 图5 主作业样例 而For Each节点中所选的子作业，则需要定义For
是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。 connection_id 是 String 数据连接id，可通过数据连接列表中获取。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 String
在“数据连接”页面，单击“创建数据连接”按钮。 图1 数据连接 创建一个到DLI的连接，数据连接类型选择“数据湖探索（DLI）”，数据连接名称设置为“dli”。 完成设置后，单击“测试”，测试成功后单击“确定”，完成DLI数据连接的创建。 图2 创建数据连接 DLI连接创建完成后，跳转到数据开发页面。
table2_name String 表2名称。 join_type String 关联类型。 枚举值： LEFT: 左外连接 RIGHT: 右外连接 INNER: 内连接 FULL: 全连接 join_fields Array of MappingJoinFieldVO objects on条件。
图3 新建模型 表2 模型参数说明 参数 说明 *模型名称 定义模型名称。只能包含中文、英文字母、数字和下划线。 数据连接类型 选择数据连接类型。 不限制数据连接 选择数据连接 *数仓分层 如果是在DWI层、SDI层或者自定义关系建模数仓分层，此处支持选择DWI、SDI、自定义数仓分层。
参数名称 说明 *数据连接类型 在下拉列表中将显示逆向数据库支持的数据连接类型，请选择所需要的数据连接类型。 *数据连接 选择数据连接。 如需从其他数据源逆向数据库到码表目录中，需要先在DataArts Studio管理中心创建一个数据连接，以便连接数据源。创建数据连接的操作，请参见配置DataArts
业》创建Spark SQL作业。 图2 创建Spark SQL单任务作业 配置与Hudi相对应的Spark数据连接，并选中需要操作Hudi表对应的数据库。 图3 配置连接与数据库 根据实际情况配置compaction的调度周期。 图4 配置调度周期 填写Spark SQL的compaction语句，提交并运行作业。
Spark（Hudi）、MRS ClickHouse、DORIS。 从下拉列表中选择已创建的数据连接。 说明： 规则都是基于数据连接的，所以在建立数据质量规则之前需要先到管理中心模块中建立数据连接。 针对通过代理连接的MRS Hive，需要选择MRS API方式或者代理方式提交： MRS API方式：通过MRS
参数描述 *资源类型 选择MRS队列或者DLI队列。 *数据连接 选择队列所在的数据连接。如需新建数据连接，请参考创建DataArts Studio数据连接。 *集群名称 仅当资源类型为MRS队列时显示，无需填写， 系统自动匹配数据连接对应的集群名称。 *队列名称 选择需要授权的队列名称。
BOOLEAN BOOLEAN - TINYINT INT TINYINT(1)默认会转成BOOLEAN类型，可通过在管理中心MySQL数据连接中添加“连接属性”使其仍保持转成TINYINT(1)：tinyInt1isBit = false。 TINYINT UNSIGNED INT -
project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String 工作空间ID，获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM
mrs:cluster:list 创建MRS数据连接 VPC vpc:publicIps:get vpc:publicIps:list vpc:vpcs:get vpc:subnets:get 创建MRS数据连接 RDS rds:*:get rds:*:list 创建RDS数据连接 数据集成 VPC vpc:publicIps:get
操作数据连接、数据集成任务，角色的权限说明请参见权限列表。 配置DLI云服务跨源场景委托权限。 实时数据集成与数据湖探索（DLI）云服务底层使用统一纳管集群资源，首次使用时需要通过DLI云服务创建跨源场景委托，用于底层计算资源访问和使用本租户VPC、子网、路由、对等连接等权限，详细请参见配置DLI云服务委托权限。
Eye）可以监控和查看云服务的运行状态、各个指标的使用情况，并对监控项创建告警规则。 当您创建了CDM集群后，云监控服务会自动关联CDM的监控指标，帮助您实时掌握CDM集群的各项性能指标，精确掌握CDM集群的运行情况。 本章节描述了CDM上报云监控的监控指标的命名空间、监控指标列表和维度定义。
表所属的数据连接 输入已创建的数据连接名称。 表所属的数据库 输入已创建的数据库名称。 数据连接扩展信息 连接类型为DLI时，输入DLI队列名称。连接类型为DWS或POSTGRESQL时，输入Schema名称。 DWS表 DISTRIBUTE BY 仅DWS连接支持，支持HAS
String 项目ID，获取方法请参见项目ID和账号ID。 表2 Query参数 参数 是否必选 参数类型 描述 type 否 String 队列类型，MRS、DLI。 cluster_id 否 String 集群ID，获取方法请参见查询单个数据连接信息。 limit 否 Integer
创建Storm权限策略 前提条件 已在管理中心创建Ranger类型的数据连接，并确保已参考MRS Ranger数据连接参数说明填写正确的RangerAdmin业务IP和Ranger服务端口。 在管理中心测试Ranger数据连接时，不会校验Ranger业务IP和服务端口，即使填写错误也不会提示，因此建议进行人工检查。
运行端口映射工具，选择“端口映射”，如图2所示。 本地地址、本地端口：配置为网关机的公网地址和端口（后续在CDM上创建MySQL连接时输入这个地址和端口）。 映射地址、映射端口：配置为内网MySQL的地址和端口。 图2 配置端口映射 单击“增加”，添加端口映射关系。 单击“开始映射”，这时才会真正开始映射，接收数据包。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
