检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图2 添加自定义属性 表3 Hudi写入优化参数 参数名 类型 默认值 说明 hoodie.sink.flush.tasks int 1 Hudi flush数据时的并发数,默认为1,即顺序写入。
*集群类型 无需选择,自动匹配集群类型。 *数据连接 无需选择,自动匹配集群数据连接中的数据源集群。 *调度时间 选择调度运行的时间段,左闭右开。 例如调度时间为00-05时,指的是在每天0点到5点时间段内,按照调度间隔进行调度,其他时间段不运行。
数据类型 系统已根据原子指标的数据类型自动生成,您也可以自定义。 告警条件 告警条件表达式由告警参数和逻辑运算符组成。在指标运行时,系统将计算出告警条件表达式的结果,并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警,结果为假则不触发质量告警。
预设数据集成、SQL、Spark、Shell、机器学习等多种任务类型,通过任务间依赖完成复杂数据分析处理。 支持导入和导出作业。 资源管理 支持统一管理在脚本开发和作业开发使用到的file、jar、archive类型的资源。
此时可通过EL表达式分割字符串结果,获取前一节点输出的字段值,但注意输出结果类型为String。需要输出原数据类型时,仍需通过For Each节点及其支持的Loop内嵌对象EL表达式获取。
"value": "|" } ], "name": "fromJobConfig" } ] } 参数说明 参数 是否必选 类型
表1 网络不通排查方法 类型 异常项 方法 数据源 - CDM异常 实例状态检查异常 检查集群是否在及是否正常运行。 连通性检查异常 若CDM集群和数据源在同一个VPC下,请确保数据源安全组入方向添加CDM集群内网IP,CDM集群安全组出方向添加数据源IP。
告警类型选择“指标”,云产品选择“数据治理中心-DataArts Studio作业”。 设置实时处理集成作业告警规则 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
表1 云搜索服务(CSS)连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。
表1 MRS Hudi作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS Hudi连接。 hudi_from_cdm 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。
表1 MRS ClickHouse作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS ClickHouse连接。 ck_from_cdm 模式或表空间 单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。
此时可通过EL表达式分割字符串结果,获取前一节点输出的字段值,但注意输出结果类型为String。需要输出原数据类型时,仍需通过For Each节点及其支持的Loop内嵌对象EL表达式获取。
说明: 如果要让“00”“01”当成数字类型作为参数传递,需要配置为[["00"],["01"]];[[00],[01]];[['00'],['01']]。
绑定Agent 是 RDS类型数据源为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建RDS类型的数据连接时,请选择一个CDM集群。
实例类型 目前数据集成集群支持以下部分规格供用户选择: cdm.large:8核CPU、16G内存的虚拟机,最大带宽/基准带宽为3/0.8 Gbps,集群作业并发数上限为16。
例如,源端是VARCHAR类型的数据写到INT类型的目标列中,导致因为转换不合理而无法写入的数据。 作业(数据开发) 在数据开发中,作业由一个或多个节点组成,共同执行以完成对数据的一系列操作。 节点 节点用于定义对数据执行的操作。
实时队列用于运行实时作业,离线队列用于运行批处理作业,默认即不区分队列的作业类型。 图3 MRS Yarn队列详情 图4 DLI队列详情 为分配的队列资源进行授权。
属性 表1 属性说明 属性 类型 描述 示例 dataArray String Loop.dataArray表示For Each节点“数据集”中定义的二维数组。
表1 CloudTable OpenTSDB连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 TSDB_link OpenTSDB链接地址 OpenTSDB的ZK链接地址。
表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 添加数据掩码 datamask createDataMask 查询数据掩码列表 datamask listDataMask 查询数据掩码 datamask getDataMask 删除数据掩码 datamask deleteDataMask