检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装补丁过程中会影响弹性伸缩以及MRS Manager上正在运行的任务,升级前请确认已经关闭弹性伸缩,并且MRS Manager上没有正在运行的任务。 安装补丁过程中,不允许在作业管理页面提交作业。 安装补丁过程包括组件重启,支持滚动重启和离线重启,请选择合适的方法,重启过程不能省略。 补丁安装后操作不
rName}/${examplesRoot}/apps/spark2x 须知: 需要保证此路径和“src\main\resources\workflow.xml”文件中的<jar>标签和<spark-opts>标签路径一致 src\main\resources\workflow.xml
Oozie的share HDFS的“/user/oozie/share/lib/spark2x”目录 说明: 请使用Oozie用户上传文件,执行su - oozie切换到Oozie用户 上传结束后再重启oozie服务。 将待使用样例工程的项目打包成jar包 jar包 HDFS的“/u
2023年4月28日 更新内容 服务模块 主要变更点 ClickHouse 升级到22.3.2.2版本。 ClickHouse支持多租户,通过CPU优先级和内存限额分配资源。 Flink 升级到1.15.0版本。 FlinkServer支持审计日志。 Hadoop 升级到3.3.1版本。 HetuEngine
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Flume”。 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
安装补丁过程中会影响弹性伸缩以及MRS Manager上正在运行的任务,升级前请确认已经关闭弹性伸缩,并且MRS Manager上没有正在运行的任务。 安装补丁过程中,不允许在作业管理页面提交作业。 安装补丁过程包括组件重启,支持滚动重启和离线重启,请选择合适的方法。重启过程不能省略。 补丁安装后操作不
安装补丁过程中会影响弹性伸缩以及MRS Manager上正在运行的任务,升级前请确认已经关闭弹性伸缩,并且MRS Manager上没有正在运行的任务。 安装补丁过程中,不允许在作业管理页面提交作业。 安装补丁过程包括组件重启,支持滚动重启和离线重启,请选择合适的方法。重启过程不能省略。 补丁安装后操作不
获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间,可以避免客户
作业,对正在运行的作业没有影响。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Loader”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
查该告警的“定位信息”。查看告警上报的实例主机名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Loader > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制”,勾选“内存”中的“Loader非堆内存使用率”,单击“确定”。
Manager上,可以看到RegionServer有如下自定义配置: 原因分析 用户配置了Phoenix的索引功能,由于新节点没有Phoenix对应的jar包,导致找不到类,启动失败。 处理步骤 登录到正常的RegionServer节点,执行以下命令。 grep -Rn ‘org.apache.hadoop
开启Kerberos认证的集群 登录Manager创建一个拥有“Hive Admin Privilege”权限的角色,例如prestorole,创建角色请参考管理MRS集群角色。 创建一个属于“Presto”和“Hive”组的用户,同时为该用户绑定1中创建的角色,例如presto0
前提条件 集群安装了Spark及Hive服务。 执行数据导入的用户需要同时具有Spark(对应源表的SELECT权限)、HBase权限(对应HBase NameSpace的RWXA权限)和HDFS权限(对应HFile输出目录的读写权限)。 如果集群已启用Kerberos认证(安全模式
群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称
对应集群连接的“操作”列对集群连接进行编辑、测试、删除等操作。 图1 创建集群连接 表1 创建集群连接信息 参数名称 参数描述 集群连接名称 集群连接的名称。 描述 集群连接名称描述信息。 版本 选择集群版本。 是否安全版本 是,安全集群选择是。需要输入访问用户名和上传用户凭证;
请检查安装目录和数据目录下的内容”。 图1 健康检查的结果 安装补丁的影响 安装补丁后需要重启服务才能生效,重启服务期间引起服务暂不可用。 安装补丁后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Mas
图1 设置Eclipse的编码格式 修改样例(未开启Kerberos认证集群可跳过此步骤)。 在4获取新建开发用户的krb5.conf和user.keytab文件后,修改presto.properties中的KerberosPrincipal为对应新建用户的principal,修改
缺省情况下,当日志大小超过20MB的时候(此日志文件大小可进行配置),会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Tez日志列表
3.x及之后版本。 前提条件 集群外的节点需要与集群的业务平面是连通的。 集群的KrbServer服务运行状态正常。 获取集群外的节点root用户密码。 集群已规划并添加“人机”用户,并获取认证凭据文件。请参见创建用户(MRS 3.x及之后版本)和下载MRS集群用户认证凭据文件。 配置集群外节点用户访问普通模式集群资源
文件“zoo.cfg”中的“syncLimit”和“initLimit”两参数值,直到ZooKeeperServer正常。 表1 参数说明 参数 描述 默认值 syncLimit follower与leader进行同步的时间间隔(时长为ticket时长的倍数)。如果在该时间范围内leader没响应,连接将不能被建立。