检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
注意,此处不会为Flink增加对应的batch或streaming模式参数,您还需要为Flink作业指定对应参数。 MRS集群名 是 选择MRS集群。 如需新建集群,请参考以下方法: 单击,进入“集群列表”页面新建MRS集群。 前往MRS管理控制台进行新建。 说明: MRS Flink Job目前支持的MRS集群版本是MRS
用户为安全模式集群进行应用开发的场景下,需要获取用户keytab文件用于安全认证。管理员可以通过FusionInsight Manager导出keytab文件。用户凭据获取方法如下: 修改用户密码后,之前导出的keytab将失效,需要重新导出。 登录FusionInsight Manager。 MRS 3.x及之后版本:选择“系统
数据架构以关系建模、维度建模理论支撑实现规范化、可视化、标准化数据模型开发,定位于数据治理流程设计落地阶段,输出成果用于指导开发人员实践落地数据治理方法论。 根据业务需求设计关系模型、维度模型,在数据架构模块中,逐步建立模型中的对象,例如维度、事实表、指标、汇总表等。 添加审核人 添加审核人
页面,请参见节点概述配置具体节点的属性。 配置作业基本信息 为作业配置责任人、优先级信息后,用户可根据责任人、优先级来检索相应的作业。操作方法如下: 单击画布右侧“作业基本信息”页签,展开配置页面,配置如表2所示的参数。 表2 作业基本信息 参数 说明 责任人 自动匹配创建作业时配置的作业责任人,此处支持修改。
选择支持spark python的mrs集群。MRS只有特定版本支持spark python的集群,请先测试运行,保证集群支持。 如需新建集群,请参考以下方法: 单击,进入“集群列表”页面新建MRS集群。 前往MRS管理控制台进行新建。 如何新建集群,请参见《MapReduce服务(MRS) 使用指南》中的创建集群章节。
] } } 则可以通过level1.level2[1].level3取到数据”test”作为目标端某一个字段的值。 udf方法 支持填写Flink的内置函数用于数据转换,例如: CONCAT(CAST(NOW() as STRING), `col_name`) DATE_FORMAT(NOW()
根据参数,更新维度信息。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/dimensions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数
中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 obs.myregion.mycloud.com 端口 数据传输协议端口,https是443,http是80。 443 OBS桶类型 用户下拉选择即可,一般选择为“对象存储”。 对象存储 访问标识(AK) AK和SK分别为登录OBS服务器的访问标识与密钥。
功能介绍 创建码表。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/code-tables 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数
添加规则:单击“添加规则”进行设置。例如,添加名称为“字段唯一值”规则,选中该规则后单击“确定”,在“告警条件”中输入告警条件表达式,然后按照此方法添加其他规则后,单击“确定”。告警表达式举例如下: 告警条件表达式,由告警参数和逻辑运算符组成。在质量作业运行时,系统将计算出告警条件表达
packages 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。
存在的作业”,且确保两个集群下分别存在该作业。您可以在其中一个集群新建CDM作业并导出,然后再导入作业到另一个集群,实现作业同步,具体操作方法请参见导出导入CDM作业。 CDM作业类型 是 选择已存在的作业。 创建新作业。 说明: 如果作业类型为“选择已存在的作业”,当CDM作业
其他云数据库添加白名单及安全组规则。 其他云数据库需要添加Migration资源组VPC网段访问数据库的权限。各厂商云数据库添加白名单的方法不同,请参考各数据库官方文档进行操作。 同时,其他云数据库若配置了安全组,则还需要增加入方向规则,放通Migration资源组VPC网段,使其可以访问数据库监听端口。
ip用“,”分隔。 获取方法: 登录MRS FusionInsight Manager。 选择“集群 > 服务 > Ranger > 实例”,可查看RangerAdmin角色对应的管理IP地址。 端口 是 MRS Ranger组件的实例端口号。 获取方法: 登录MRS FusionInsight
多个Agent分担压力。 hsbroker IP列表 是 MRS Hetu组件的hsbroker节点ip列表,多个ip用“,”分隔。 获取方法: 登录MRS FusionInsight Manager。 选择“集群 > 服务 > HetuEngine > 角色 > HSBroke
找衍生指标信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/derivative-indexs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
通过ID获取衍生详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/derivative-indexs/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
仅当DWS集群guest_agent版本为8.2.1,或在8.2.1以上、9.0.0以下时,才支持用户同步。DWS集群guest_agent版本查看方法请参考查看DWS集群guest agent版本。 DWS数据源用户同步前,要求用户已至少配置DWS Database Access权限,否则会同步失败。
Delete:删除至行尾 Alt + Shift-Left:选择行首 Alt + Shift-Right:选择行尾 支持脚本参数功能,使用方法如下: 在Python语句中直接写入脚本参数名称和参数值。当Python脚本被作业引用时,如果作业配置的参数名称与Python脚本的参数名
Delete:删除至行尾 Alt + Shift-Left:选择行首 Alt + Shift-Right:选择行尾 支持脚本参数功能,使用方法如下: 在Shell语句中直接写入脚本参数名称和参数值。当Shell脚本被作业引用时,如果作业配置的参数名称与Shell脚本的参数名称相同