检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不支持滚动重启。 - HetuEngine 直接重启 客户端无法访问,但正在运行的业务不受影响。 直接重启耗时约5分钟。 滚动重启 不影响业务。 滚动重启10个节点耗时约10分钟。 HetuEngine计算实例 直接重启 计算实例重启期间无法执行SQL任务。 直接重启耗时约5分钟。 滚动重启
h)中,不会被立即清除,以便在误操作的情况下恢复被删除的数据。被删除的文件在超过老化时间后将变为老化文件,会基于系统机制清除或用户手动清除。 您可以设置文件保留在回收站中的时间阈值,一旦文件保存时间超过此阈值,将从回收站中永久地删除。如果回收站被清空,回收站中的所有文件将被永久删除。
Master节点内存 - 16GB) * 0.65 (保守估计值) JVM用于gc的参数。仅当GC_PROFILE设置为custom时该配置才会生效。需确保GC_OPT参数设置正确,否则进程启动会失败。 注意: 请谨慎修改该项。如果配置不当,将造成服务不可用。 调整ClickHouse配置:在FusionInsight
apache.hadoop.mapreduce.Job:用户提交MR作业的接口,用于设置作业参数、提交作业、控制作业执行以及查询作业状态。 org.apache.hadoop.mapred.JobConf:MapReduce作业的配置类,是用户向Hadoop提交作业的主要配置接口。 表1 类org
h)中,不会被立即清除,以便在误操作的情况下恢复被删除的数据。被删除的文件在超过老化时间后将变为老化文件,会基于系统机制清除或用户手动清除。 您可以设置文件保留在回收站中的时间阈值,一旦文件保存时间超过此阈值,将从回收站中永久地删除。如果回收站被清空,回收站中的所有文件将被永久删除。
使用Storm Storm WebUI页面中events超链接地址无效 提交Storm拓扑失败排查思路 提交Storm拓扑失败,提示Failed to check principle for keytab 提交Storm拓扑后Worker日志为空 提交Storm拓扑后Worker运行异常,日志提示Failed
enabled”的值设置为“false”。 单击“保存”在弹出窗口单击“确定”。 选择“概览 > 更多 > 重启服务”,输入当前用户密码,单击“确定”开始重启Hive服务。 安装并登录Hive客户端,具体操作请参考Hive客户端使用实践。 提交并执行Tez任务。 登录FusionInsight
令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。当前用户为准备Spark应用开发用户时增加的开发用户。 kinit MRS集群用户 例如: 开发用户为“机机”用户时请执行:kinit -kt user.keytab sparkuser 开发用户为“人机”用户时请执行:kinit
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > LdapServer > 实例”。进入LdapServer实例页面获取两个SlapdServer实例所在节点的主机名。 选择“运维 > 告警 > 告警”,在告警列表中查看是否有“节点故障”告警产生。 是,执行3。
需要重启controller,重新获取token。操作步骤如下: 登录FusionInsight Manager界面,单击右上角任务中心图标,确认任务管理中心无执行中的任务。 使用PuTTY工具,以omm用户登录主管理节点。 执行以下命令重启controller。 sh ${BI
”的值调整每个资源组的阈值。 收集故障信息。 根据故障信息中的HostName登录到集群节点,在presto客户端根据附加信息中的Reource Group查询排队数。 根据故障信息中的HostName登录到集群节点,查看/var/log/Bigdata/nodeagent/monitorlog/monitor
如上日志说明:192.168.1.22 节点的appUser用户删除了/user/sparkhive/warehouse/daas/dsp/output/_temporary。 可以使用zgrep "文件名" *.zip命令搜索zip包的内容。 解决办法 需要排查业务,确认为何该文件或者文件的父目录被删除。
修改MRS集群Manager用户密码 出于MRS集群安全的考虑,“人机”类型系统用户密码必须定期修改。该任务指导用户通过Manager完成修改自身密码工作。 如果用户具备使用Manager的权限时,可以通过Manager完成修改自身密码工作。 如果用户不具备使用Manager的权
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 DataNode容量不足,会影响到HDFS的数据写入。 可能原因 集群磁盘容量已满。 DataNode节点间数据倾斜。 处理步骤 检查集群磁盘容量是否已满。 登录MRS集群详情页面,在“告警管理”页面查看是否存在“ALM-14001
可能原因 瞬时提交作业的数量过多。 处理步骤 登录FusionInsight Manager,选择“集群 > 服务 > JobGateway ”。 选择“实例”页签,单击“添加实例”,根据用户实际作业提交量,新增JobServer实例数量。 实例添加完成后,重启JobGateway服务。
Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址。 以root用户登录产生告警主机,用户密码为安装前用户自定义,请咨询系统管理员,执行su - omm命令,切换到omm用户。 执行如下命令查看omm用户D状态和Z状态进程号。 ps -elf | grep -v "\[thread_checkio\]"
py中的hosts数组中填写安装HiveServer的节点的业务平面IP。 在python-examples/pyCLI_sec.py和python-examples/pyline.py的conf数组中的“hadoop.hadoop.com”修改为hadoop.实际域名。实际域名可登录FusionInsight Manager,选择“系统
defaultFS - 默认文件系统的名称。URI模式必须设置为“viewfs”。当使用“viewfs”模式时,权限部分必须是“ClusterX”。 fs.viewfs.mountable.ClusterX.homedir - 主目录基本路径。每个用户都可以使用在“FileSystem/File
'topic' = 'test_source', 'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号', 'properties.group.id' = 'testGroup', 'scan.startup.mode'
compression”设置parquet表的数据压缩格式。如在建表语句中设置tblproperties:"parquet.compression"="snappy"。 对于非分区表,需要通过“spark.sql.parquet.compression.codec”配置项来设置parquet