检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Policy”,添加Yarn权限控制策略。 根据业务需求配置相关参数。 表1 Yarn权限参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP
Policy”,添加Spark2x权限控制策略。 根据业务需求配置相关参数。 表1 Spark2x权限参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP
Policy”,添加Spark2x权限控制策略。 根据业务需求配置相关参数。 表1 Spark2x权限参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP
Policy”,添加Hive权限控制策略。 根据业务需求配置相关参数。 表1 Hive权限参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP
先确保配置了此策略,可参考表2进行配置。 表1 HetuEngine权限参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Enabled:启用当前策略。 Disabled:不启用当前策略。 Policy Conditions IP
SparkHome:集群中安装Spark的目录。 jars:应用程序代码和依赖包。 主体程序:处理数据 提交Application的描述请参见:https://archive.apache.org/dist/spark/docs/3.3.1/submitting-applications.html。
--topic 主题名称 --zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka 主题分区数和主题备份个数不能大于Kafka角色实例数量。 默认情况下,ZooKeeper的“clientPort”为“2181”。 ZooKeeper角色实例所在节点
设置为“false”,表示关闭该功能,表示日志不会收集到HDFS中。 修改参数值后,需重启Yarn服务使其生效。 说明: 在修改值为“false”并生效后,生效前的日志无法在WebUI中获取。 如果需要在WebUI界面上查看之前产生的日志,建议将此参数设置为“true”。 true yarn.nodemanager
端主机的安全组配置,确保用户名密码正确,及远端主机的安全组已增加SSH(22)端口的入方向规则。然后从2执行重新下载客户端。 连接到服务器失败,请检查网络连接或参数设置。 生成客户端会占用大量的磁盘IO,不建议在集群处于安装中、启动中、打补丁中等非稳态场景下载客户端。 使用VNC
器所在的完整路径,在IoTDB中所有的时间序列必须以root开始、以传感器作为结尾。 IoTDB样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分
is=IDLE awp=false se=false i=false al=0},r=1,c=true/true,a=IDLE,uri=https://10.244.224.65:21495/api/v1/cdl/monitor/jobs/metrics,age=19382} | SslConnection
单击文件系统名称。选择左侧导航栏“文件”,在“文件”页签下单击“新建文件夹”,分别新建“program”、“input”文件夹,如图4所示。 图4 新建文件夹 从 https://mrs-obs-cn-north-4.obs.cn-north-4.myhuaweicloud.com/mrs-demon-sam
如果您需要了解ThriftServer的其他信息,请参见Spark官网。 Beeline 开源社区提供的Beeline连接方式,请参见:https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients。 JDBC客户端代码
请登录“弹性公网IP”界面,在待操作的弹性公网IP后,单击“操作”列的“解绑”或“更多 > 释放”。 如果已创建弹性公网IP,但在绑定时无法找到,可能是由于该弹性公网IP被其他集群绑定,请先在弹性公网IP界面解绑,然后再为当前集群绑定。 在“安全组”中选择当前集群所在的安全组,
reate”完成 存储策略定义使用介绍 若Hue的服务配置参数“fs_defaultFS”配置为“viewfs://ClusterX”时,不能启用存储策略定义功能。 登录MRS Manager。 在MRS Manager界面,选择“系统设置 > 权限配置 > 角色管理 > 添加角色”:
保存配置,并重启该ResourceManager实例。 重启主ResourceManager实例,会发生ResourceManager实例主备倒换,倒换过程中,Yarn无法提交新作业,已提交的作业不受影响。Yarn组件以及依赖Yarn的组件会出现短暂的服务不可用告警。 重启备ResourceManager实例,服务业务不受影响。
主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 可能导致上层服务无法连接DBService的数据库,影响正常业务。 可能原因 数据库连接数使用过多。 数据库连接数最大值设置不合理。 告警阈值配置或者平滑次数配置不合理。
二级索引表使用hive注册,并以json格式的值存储在HiveSERDEPROPERTIES中。由hive支持的SERDEPROPERTIES的最大字符数为4000个字符,无法更改。 父主题: 使用CarbonData(MRS 3.x及之后版本)
主题名 产生告警的Kafka Topic。 对系统的影响 Partition所在的磁盘分区IO过于繁忙,产生告警的Kafka Topic上可能无法写入数据。 可能原因 Topic副本数配置过多。 生产者消息批量写入磁盘的参数设置不合理。该Topic承担的业务流量过大,当前Partition的设置不合理。
群的密码策略,为保证系统安全,建议集群升级后及时修改密码。 对系统的影响 MRS 2.x及之前版本,修改密码需要重启全部服务,服务在重启时无法访问。 MRS 3.1.0版本集群: 修改LdapServer服务的用户密码为高危操作,需要重启KrbServer和LdapServer服