检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何在IAM中创建细粒度权限策略? 当前DataArts Studio不支持在IAM中创建细粒度权限策略。推荐通过DAYU策略+工作空间角色的方式进行权限控制,您可以通过自定义角色进行更精细化的权限管理。 DataArts Studio基于DAYU系统角色+工作空间角色实现授权的能力。为使IAM用户权限
默认发送到partition 0。 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 发送数据 是 发送到Kafka的文本内容。可以直接输入文本或单击使用EL表达式编辑。 表2 高级参数 参数 是否必选
Sub Job 功能 通过Sub Job节点可以调用另外一个批处理作业。 参数 用户可参考表1和表2配置Sub Job节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
拖拽“输出处理”算子到画布,挂载到普通API下。单击画布上的输出处理算子打开配置面板,配置输出处理算子: 添加结果集映射。节点映射表达式取普通API的结果,如“${NormalApi_5274d|payload}”,结果集名称按照实际取值,此处以销售记录Sales records为例进行配置。 格式转换选择返回格式为EXCEL。
查询告警通知记录 功能介绍 此接口可以查询指定时间段内的告警通知记录。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v2/{project_id}/factory/alarm-info?start_time={start_
L表达式。 若关联的SQL脚本,脚本参数发生变化,可单击刷新按钮同步,也可以单击进行编辑。 涉及脚本的节点均可以采用此方式引用脚本变量,如SQL脚本、Shell脚本和Python脚本。 简易变量集 简易变量集提供了一系列自定义的变量,自定义参数会根据任务调度的业务日期、计划时间及
块中,一次可以导入一个或多个连接。 - - 脚本开发 表3 脚本开发 API 说明 API流量限制(次/s) 用户流量限制(次/s) 创建脚本 创建一个新脚本。 300 30 修改脚本内容 本接口用以修改脚本的配置项或者脚本内容。 300 30 查询脚本信息 此接口可以查询指定脚本的定义,包括脚本类型和脚本内容。
移动作业/作业目录 您可以通过移动功能把作业文件或作业目录从当前目录移动到另一个目录。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
通过Data Quality Monitor节点可以对运行的数据进行质量监控。 参数 用户可参考表1和表2配置Data Quality Monitor节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、
模型设计:应用逻辑模型、关系建模、维度建模和数据集市的方法,进行分层建模。 逻辑模型:用于创建逻辑模型以及逻辑模型的修改和删除,转化为物理模型。同时,可以对逻辑实体进行创建及发布,进行逆向数据库等操作。 关系建模:基于关系建模,新建SDI层和DWI层两个模型。 SDI:Source Data
可选,本参数支持将单一告警表达式的结果进行逻辑运算,组成更复杂的告警条件。 您可以将鼠标光标放在“告警表达式”输入框处需要进行逻辑运算的两个告警表达式之间,然后单击输入如下之一运算符。另外,您也可以手动输入,当前表达式中支持如下逻辑运算符,且可以通过“(”和“)”进行包围: +:相加 -:相减 *:相乘
导航栏 左侧导航栏,包括数据业务场景的存储目录。 用户可以根据实际需要对业务场景进行分目录存放,每级目录旁边的数字代表属于该级目录的业务场景的个数。 3 业务场景实例列表 展示实例名称、运行状态、运行结果等信息。 4 搜索区域 可以选择性的展示业务场景实例,例如运行的开始时间和结束时间处于某一时间区间业务场景。
如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 父主题: 节点参考
如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 父主题: 节点参考
添加请求参数后,单击“开始测试”。 右侧返回结果回显区域打印API调用的Response信息。 调用成功时,返回HTTP状态码为“200”和Response信息。 调用超过默认60秒无结果时,会报超时错误。 调试失败时,返回HTTP状态码为4xx或5xx。 您可以通过调整请求参数与参数值,发送不同的请求,验证API服务。
可选,本参数支持将单一告警表达式的结果进行逻辑运算,组成更复杂的告警条件。 您可以将鼠标光标放在“告警表达式”输入框处需要进行逻辑运算的两个告警表达式之间,然后单击输入如下之一运算符。另外,您也可以手动输入,当前表达式中支持如下逻辑运算符,且可以通过“(”和“)”进行包围: +:相加 -:相减 *:相乘
如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 父主题: 节点参考
数据开发操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建作业 job createJob(api)
任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。
时分片越大,占用内存越多,引发内存溢出,在此场景下,可以考虑降低分片大小。 scan.snapshot.fetch.size int 1024 全量阶段抽取数据时,从Mysql侧单次请求抽取数据的最大条数,适当增加请求条数可以减少对Mysql的请求次数提升性能。 debezium