检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Administrator的系统角色,另外也必须确保DAYU User角色的IAM用户已在对应的DataArts Studio工作空间中被设置为对应的工作空间角色。 如果您只给用户配置了DAYU User系统角色,未配置工作空间角色,则会出现无法查看工作空间的报错。 解决方案 请
是 String 项目编号,获取方法请参见项目ID和账号ID。 job_name 是 String 作业名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。
是 String 项目编号,获取方法请参见项目ID和账号ID。 job_name 是 String 原作业名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。
表后缀:开启“生成异常数据”时显示此项,表示存储异常数据的表的后缀。 添加规则:单击“添加规则”进行设置。例如,添加名称为“字段唯一值”规则,选中该规则后单击“确定”,在“告警条件”中输入告警条件表达式,然后按照此方法添加其他规则后,单击“确定”。 告警条件表达式,由告警参数和逻辑运算符组成。在质量
连接器类型选择“云搜索服务”后单击“下一步”,配置云搜索服务连接参数。 名称:用户自定义连接名称,例如“csslink”。 Elasticsearch服务器列表:配置为云搜索服务集群(支持5.X以上版本)的连接地址、端口,格式为“ip:port”,多个地址之间使用分号(;)分隔,例如192.168
定时批写时间间隔:数据定时入库的间隔时间,时间1-1000, 单位为秒。 高级配置:通过设置以下参数配置数据写入的高级属性。 sink.buffer-flush.max-size:根据作业配置内存和数据大小设置批写最大内存,单位:Mb。 sink.case-sensitive:是否对字段大
定时批写时间间隔:数据定时入库的间隔时间,时间1-1000, 单位为秒。 高级配置:通过设置以下参数配置数据写入的高级属性。 sink.buffer-flush.max-size:根据作业配置内存和数据大小设置批写最大内存,单位:Mb。 sink.case-sensitive:是否对字段大
连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 sql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
条件分支表达式由上游算子的节点编码和变量名组成,使用方法请参考变量表达式定义方法。 表达式定义方法 在定义条件分支的表达式时,需要配置变量表达式。当前仅入口API和普通API支持定义变量,条件分支、并行处理和输出处理暂不支持。表达式标准写法为:${节点编码|变量名},定义方法如表2所示。 节点编码:由系
驳回工单。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/permission-approve/reject/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
是 String 项目ID,获取方法请参见项目ID和账号ID。 id 是 String 工单id 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Auth-Token
是 String 项目编号,获取方法请参见项目ID和账号ID。 job_name 是 String 作业名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。
量作业的参数传递给数据质量算子作业,实现数据质量的参数传递。 使用场景 数据质量需要传递参数到数据质量算子作业里面并且能够正常运行。 配置方法 创建质量作业 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据质量”模块,进入数据质量页面。
进制格式”。不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 其他可选参数一般情况下保持默认即可。 目的端作业配置 目的连接名称:选择创建OBS连接中的“obs_link”。 桶名:待迁移数据的桶。 写入目录:写入数据到OBS服务器的目录。 文件格
见主机连接参数说明。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 请求参数 表1 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需
URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 resource_id 是 String 资源ID,获取方法请参见查询资源列表。返回的id即为resource_id。 请求参数 表2 请求Header参数
在数据开发主界面的左侧导航栏,在“运维调度 > 作业监控”中,选择“批作业监控”页签。 勾选需要配置的作业,单击“通知配置”。 图1 创建通知配置 设置通知配置参数,单击“确定”完成作业的通知配置。 父主题: 数据开发
当作业源端为MRS ClickHouse、DWS及Hive时: 若int及float类型字段为null时,创建MRS ClickHouse表格时字段类型需设置为nullable(),否则写入到MRS ClickHouse的值会为0。 请确认目的端表引擎是否为ReplicatedMergeTree
对于Pipeline作业,每个节点都可以配置一个任务组,也可以在作业里面统一配置任务组,如果配置了作业级任务组,则优先级高于节点的任务组。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台