检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
aes128-sha1”。 如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。
match_type 是 String 匹配类型, CONTENT,COLUMN,COMMIT,TABLE_NAME,TABLE_COMMENT,DATABASE_NAME expression 是 String expression builtin_rule_id 否 String 内置规则ID
Studio实例中的数据集成CDM集群所属的VPC、子网、安全组。 如果DataArts Studio实例或CDM集群需连接云上服务(如DWS、MRS、RDS等),则您需要确保CDM集群与该云服务网络互通。同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通,如果同虚拟私有云而子网或安全组不同,还需配置路由规则及安全组规则。
已完成申请API授权。 本章以Postman工具为例,因此需要已安装Postman工具,如果未安装,请至Postman官方网站下载。 约束与限制 通过IAM应用授权的IAM认证方式API,仅支持通过当前账号及其归属用户的Token进行调用,不支持其他账号及其归属用户调用。如有需要
时间过滤左边界,与end_time一起使用,只支持时间范围过滤,单边过滤无效。格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 end_time 否 String 时间过滤右边界,与begin_t
使用教程 脚本及作业中引用参数使用介绍 作业调度支持每月最后一天 配置作业调度为年调度 补数据场景使用介绍 获取SQL节点的输出结果值 查询SQL获取max值传递给CDM作业 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 引用脚本模板和参数模板的使用介绍
如果选择写入到OBS,此参数表示相应的OBS桶下的目录,例如:“/data/dirtydata/”。 throttlingConfig.maxErrorRecords 否 String 单个分片的最大错误记录数。单个map的错误记录超过设置的最大错误记录数时,任务自动结束,已经导入的数据不回退。 schedulerConfig
properties”。 如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。
配置模板 本章节主要介绍如何创建并使用模板。用户在编写业务代码时,对于重复的业务逻辑,可以直接引用SQL模板,同时在配置作业运行参数的时候,可以直接使用作业参数模板,不用再进行重复配置。 约束限制 该功能适用于以下场景: Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中,MRS
授权。 本章以Java SDK为例,因此需要已安装Eclipse 3.6.0或以上版本,如果未安装,请至Eclipse官方网站下载。 约束与限制 APP认证方式的API调用前必须先完成通过应用授权APP认证方式API或申请API授权操作。 如需在本地调用专享版API,则需在创建专
下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 基础与网络连通配置 主机地址 是 Linux操作系统主机的IP地址。 请参考查看云服务器详细信息获取。 绑定Agent 是 选择CDM集群,CDM
作业开发流程 作业开发功能提供如下能力: 提供图形化设计器,支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、计算&分析、资源管理、数据监控、其他等多种任务类型,通过任务间依赖完成复杂数据分析处理。 支持多种作业调度方式。 支持导入和导出作业。 支持作业状态运维监控和作业结果通知。
查看表 对于关系建模中的表,您可以查看模型视图、表详情、关系图、预览SQL以及发布历史。 查看模型视图 当您在关系模型中完成表的新建后,就可以通过列表视图和模型视图两种形式查看表模型。关系模型页面默认显示为列表视图,您可以切换为模型视图进行查看。 在DataArts Studio
基线运维约束限制 使用基线运维特性时,为了保证任务的优先级生效,需要注意以下要求: MRS约束限制: 在MRS集群场景中,优先级配置只支持使用MRS API模式的数据连接类型,不支持代理模式的数据连接。 DataArts Studio的MRS节点支持优先级功能,如果MRS集群如果
object value,统一的返回结果的外层数据结构。 表6 value 参数 参数类型 描述 total Integer 总量。 records Array of ApproverVO objects 查询到的审批人对象(ApproverVO)数组。 表7 ApproverVO 参数
错误码。 error_msg String 错误描述。 请求示例 { "attributes" : { "database" : [ "database" ], "classifications" : [ ], "connection_names" : [
2.x版本的集群。 如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。
E进程里,防止冲突导致迁移失败。 STANDALONE IP与主机名映射 运行模式选择“EMBEDDED”、“STANDALONE”时,该参数有效。 如果HDFS配置文件使用主机名,需要配置IP与主机的映射。格式:IP与主机名之间使用空格分隔,多对映射使用分号或回车换行分隔。 10
查看作业实例 作业实例的数据保留最近90天的结果。 界面说明 介绍“数据质量监控 > 运维管理”页面中的区域和按键功能。 图1 页面区域说明 表1 运维管理页面 序号 区域 描述 1 导航栏 左侧导航栏,包括数据质量规则的存储目录。 用户可以根据实际需要对规则进行分目录存放,每级
作业开发 作业开发流程 新建作业 开发Pipeline作业 开发批处理单任务SQL作业 开发实时处理单任务MRS Flink SQL作业 开发实时处理单任务MRS Flink Jar作业 开发实时处理单任务DLI Spark作业 调度作业 提交版本 发布作业任务 (可选)管理作业