检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Timeout 调度第二次及之后超时时间。 1s spark.dynamicAllocation.executorIdleTimeout 普通Executor空闲超时时间。单位为秒。 60 spark.dynamicAllocation.cachedExecutorIdleTimeout
如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置MRS集群间互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配置跨集群拷贝,请参见启用MRS集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。
hadoop组或者已在Ranger中为该用户添加“/flink”的读写权限。 如果停用Ranger鉴权,当前用户必须属于hadoop组。 普通集群(未开启Kerberos认证)可通过如下两种方式提交作业: 执行如下命令启动session,并在session中提交作业。 yarn-session
安装目录并认证用户。 cd /opt/client source bigdata_env kinit HetuEngine组件操作用户 (普通模式集群跳过) 执行以下命令,登录数据源的catalog。 hetu-cli --catalog 数据源名称 --schema 数据库名 例如执行以下命令:
如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置MRS集群间互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配置跨集群拷贝,请参见启用MRS集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。
allow-access-address: xx.xx.xxx.xxx 运行Flink作业。 本章节以提交客户端自带的WordCount样例程序为例。 普通集群(未开启Kerberos认证) 执行如下命令启动session,并在session中提交作业。 yarn-session.sh -nm
为A集群的安全组添加入方向规则,源地址选择B集群(对端集群)的安全组。 为B集群的安全组添加入方向规则,源地址选择A集群(对端集群)的安全组。 未开启Kerberos认证的普通集群执行1~2即可完成跨集群互信配置,开启Kerberos认证的安全集群请继续执行后续步骤进行配置。 分别登录两个集群的MRS Manag
label-4 10.1.120.[4-6] = label-2 10.1.120.5 = label-5 10.1.120.6 = label-3 普通的主机名表达式 /dn-1/ = label-1, label-2 /dn-2/ = label-1, label-3 /dn-3/ = label-1
安装目录并认证用户。 cd /opt/client source bigdata_env kinit HetuEngine组件操作用户 (普通模式集群跳过) 执行以下命令,登录数据源的catalog。 hetu-cli --catalog 数据源名称 --schema 数据库名 例如执行以下命令:
取值范围: 不涉及 默认取值: 不涉及 safeMode Integer 参数解释: MRS集群运行模式。 约束限制: 不涉及 取值范围: 0:普通集群 1:安全集群 默认取值: 不涉及 clusterVersion String 参数解释: 集群版本。 约束限制: 不涉及 取值范围:
配置 > 全部配置”,集群已启用Kerberos认证(安全模式)搜索并获取“sasl.port”参数的值,集群未启用Kerberos认证(普通模式)搜索并获取“port”的值。 例如,写入数据内容如下: {"LO_ORDERKEY":"1" ,"LO_LINENUMBER":"1"
取值范围: 不涉及 默认取值: 不涉及 safeMode Integer 参数解释: MRS集群运行模式。 约束限制: 不涉及 取值范围: 0:普通集群 1:安全集群 默认取值: 不涉及 clusterVersion String 参数解释: 集群版本。 约束限制: 不涉及 取值范围:
参数最多为150000字符,不能包含;|&>'<$!"\特殊字符,可为空。 说明: 若输入带有敏感信息(如登录密码)的参数可能在作业详情展示和日志打印中存在暴露的风险,请谨慎操作。 提交HiveScript或HiveSql类型的作业时如需以“obs://”开头格式访问存储在OBS上的文件
表6 VolumeInfo 参数 参数类型 描述 type String 参数解释: 磁盘类型。 约束限制: 不涉及 取值范围: SATA:普通IO磁盘类型。 SAS:高IO磁盘类型。 SSD:超高IO磁盘类型。 GPSSD:通用型SSD磁盘类型。 默认取值: 不涉及 size Integer
参数类型 描述 is_dec_project 否 Boolean 参数解释: 说明是否为专属云的资源。 约束限制: 不涉及 取值范围: true:是专属云的资源。 false:不是专属云的资源。 默认取值: false cluster_version 是 String 参数解释:
信息。 Generate方法,用来生成索引。它为每行数据生成一个索引数据。 Query方法,用来对给定输入生成索引值范围列表。 导入命令同普通Carbon表: LOAD DATA inpath '/tmp/geosotdata.csv' INTO TABLE geosot OPTIONS
${mrs_scale_node_ips}:扩缩容的节点IP ${mrs_scale_rule_name}:触发扩缩容的规则名 其他用户自定义参数使用方式与普通shell脚本相同,多个参数中间用空格隔开。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 nodes 是 Array of
是 String 参数解释: Task节点数据磁盘存储类别,目前支持SATA、SAS和SSD等。 约束限制: 不涉及 取值范围: SATA:普通IO SAS:高IO SSD:超高IO GPSSD:通用型SSD 默认取值: 不涉及 data_volume_count 是 Integer