检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。
X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。
MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。
MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。
MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。
请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String DataArts Studio工作空间ID,获取方法请参见实例ID和工作空间ID。
实时处理作业:处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的业务关系,每个节点可单独被配置调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。
华为云CDM创建迁移作业 在CDM集群的作业管理界面,选择“表/文件迁移 > 新建作业”,每个表文件的目录作为一个迁移作业。 源端作业配置 源连接名称:选择上面创建的CDH HDFS连接。 源目录或文件:选择CDH中HBase的HBase表所在目录。
用户可以通过补数据,修正历史中出现数据错误的作业实例,或者构建更多的作业记录以便调试程序等。 补数据作业除了支持SQL脚本,其他节点也支持。 如果SQL脚本的内容有变化,补数据作业运行的是最新版本的脚本。
配置完成后,请前往作业开发界面,在所需作业画布右侧“调度配置”页签,选择任务组,即可按照设置好的任务组更细粒度的进行当前任务组中的作业节点的并发数控制。 后续操作 修改:单击“修改”,可以修改已配置好的任务组。任务组的修改是实时生效的。
用户可以通过补数据,修正历史中出现数据错误的作业实例,或者构建更多的作业记录以便调试程序等。 补数据作业除了支持SQL脚本,其他节点也支持。 如果SQL脚本的内容有变化,补数据作业运行的是最新版本的脚本。
选择对应压缩格式的源文件: 无:表示传输所有格式的文件。 GZIP:表示只传输GZIP格式的文件。 无 加密方式 选择是否对上传的数据进行加密,以及加密方式: 无:不加密,直接写入数据。 KMS:使用数据加密服务中的KMS进行加密。如果启用KMS加密则无法进行数据的MD5校验。
高级属性里的参数为可选参数,默认隐藏,单击界面上的“显示高级属性”后显示。 表1 OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。 bucket_2 写入目录 写入数据到OBS服务器的目录,目录前面不加“/”。
数据开发调用数据质量算子并且作业运行的时候需要传入质量参数 由于数据质量作业在执行SQL语句时不支持传参,通过数据开发调用数据质量算子,运行的时候可以把数据质量作业的参数传递给数据质量算子作业,实现数据质量的参数传递。
表1 MongoDB作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 mddb 集合名称 选择待导入数据的集合,相当于关系数据库的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。
在详情页面,选择“监控信息”,单击“创建告警规则”,进入云监控服务的创建告警规则界面,创建该作业的告警规则。 图1 创建告警规则 设置完成后,单击“立即创建”。当符合规则的告警产生时,系统会自动进行通知。
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。
但由于DWS数据源不支持以华为账号直接访问,如果登录账号为华为账号,联通性测试会失败。因此,在DWS联通性测试前,需要先完成用户同步,再将当前登录账号切换为IAM子用户账号,且至少具有DWS Database Access权限。
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String DataArts Studio工作空间ID,获取方法请参见实例ID和工作空间ID。
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String DataArts Studio工作空间ID,获取方法请参见实例ID和工作空间ID。