检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
conf”目录下,可参考5.4.1-编译并运行程序。 在二次开发过程中,PRINCIPAL需要用到的用户名,应该填写为带域名的用户名,例如创建的用户为test,域名为HADOOP.COM,则其PRINCIPAL用户名则为test@HADOOP.COM,代码举例: conf.set(PRINCIPAL
临时文件过多占用了大量磁盘空间。 处理步骤 启动一个定时任务来清理超过一定时间的shuffle文件,例如每个整点清理超过6个小时的文件: 创建脚本“clean_appcache.sh”,若存在多个数据盘,请根据实际情况修改BASE_LOC中data1的值。 安全集群 #!/bin/bash
停止所有与HDFS、HBase、Hive相关的业务和作业,然后停止HBase、Hive服务。 打通数据传输通道 当源集群与目标集群部署在同一区域的不同VPC时,请创建两个VPC之间的网络连接,打通网络层面的数据传输通道。请参见VPC对等连接。 当源集群与目标集群部署在同一VPC但属于不同安全组时,在VP
user_name:为待修改有效期的操作系统用户,例如ommdba用户。 建议用户根据实际情况及业务需求进行配置,定期修改用户密码。 修改新创建操作系统用户密码默认有效期。 执行以下命令,编辑文件并修改“PASS_MAX_DAYS”参数值,该参数表示密码的有效时间,单位为“天”。例
选择“集群 > 服务 > HDFS > 停止服务”,停止HDFS服务。 以root用户登录到安装HDFS服务的各个数据节点中,执行如下操作: 创建目标目录(data1,data2为集群原有目录)。 例如目标目录为“${BIGDATA_DATA_HOME}/hadoop/data3/dn”,执行以下命令:
选择“集群 > 服务 > HDFS > 停止服务”,停止HDFS服务。 以root用户登录到安装HDFS服务的各个数据节点中,执行如下操作: 创建目标目录(data1,data2为集群原有目录)。 例如目标目录为“${BIGDATA_DATA_HOME}/hadoop/data3/dn”,执行以下命令:
如果使用其他用户,请确保该用户对保存目录拥有读取、写入和执行权限。 在“登录方式”选择“密码”或“SSH私钥”。 密码:输入创建集群时设置的root用户密码。 SSH私钥:选择并上传创建集群时使用的密钥文件。 单击“确定”开始生成客户端文件。 若界面显示以下提示信息表示客户端包已经成功保存,单击“关闭”。
在“配置”页签,搜索“gateway.port”,获取HSFabric的端口号。 user 访问HetuEngine的用户名,即在集群中创建的“人机”用户的用户名。 KerberosPrincipal KerberosKeytabPath指定的keytab对应的用户名。 tenant
MRS_Services_ClientConfig.tar 执行以下命令安装客户端到指定目录(绝对路径),例如“/opt/client”。目录会自动创建。 cd /opt/MRS_Services_ClientConfig sh install.sh /opt/client Components
23:59:59期间为包年/包月计费。 按需计费 在2023/03/18 15:30:00 ~ 2023/03/20 9:00:00期间按照创建集群时的规格计费,计费时长为41.5小时,费用计算如下: 在2023/03/20 9:00:00 ~ 2023/03/20 10:00:0
hudi外请勿使用。 N false --use-jdbc 使用Hive jdbc连接 N true --auto-create-database 自动创建Hive database N true --skip-ro-suffix 注册时跳过读取_ro后缀的读优化视图 N false --us
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 发生连接数告警时,表示连接到HiveServer的session数过多,将会导致无法建立新的连接,导致新任务失败,甚至服务异常重启。 可能原因 连接HiveServer的客户端过多。 处理步骤 增加Hive最大连接数配置。 在FusionInsight
hudi外请勿使用。 N false --use-jdbc 使用Hive jdbc连接 N true --auto-create-database 自动创建Hive database N true --skip-ro-suffix 注册时跳过读取_ro后缀的读优化视图 N false --us
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 无法切换到omm用户。 无法创建新的omm进程。 服务或进程故障之后无法重启。 可能原因 用户CGroup任务数使用率过高,超过阈值90%。 处理步骤 检查omm用户同时打开的线程最大数的配置是否合理。
pengauss数据库无法提供服务。 可能原因 CDL任务异常,数据停止处理;或源端数据库更新快,CDL数据处理较慢。 处理步骤 使用具有创建CDL任务的用户或者具有管理员权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警”,单击“告警ID
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 发生当前告警时,表示连接到MetaStore的session数过多,将会导致无法建立新的连接。 可能原因 连接MetaStore的客户端过多。 处理步骤 修改MetaStore的最大连接数配置。 在FusionInsight
”和“hadooppmanager”,并添加“System_administrator”、“default”和创建的角色,单击“确定”完成Flink作业用户创建(首次创建的用户需使用该用户登录Manager修改密码)。 登录Manager,下载认证凭据。 登录集群的Manager界面,选择“系统
判断磁盘是否建立了RAID。 其中/dev/sd[x]为1中获取到的上报告警的磁盘名称。 例如执行: lsscsi | grep "/dev/sda" 如果命令执行结果第三列显示ATA、SATA或者SAS,说明磁盘没有建立RAID;显示其他信息,则该磁盘可能建立了RAID。 是,执行11。
容错能力非常适合大批量查询,如果用户在容错集群上同时运行大量短时间小查询,则可能会遇到延迟。因此,建议处理批处理操作时使用专用的容错计算实例,与进行交互式查询的更高查询量的计算实例分开。 配置HetuEngine查询容错执行能力步骤 使用可访问HetuEngine WebUI界面的用户登录FusionInsight
参数 描述 默认值 dfs.client.failover.proxy.provider.[nameservice ID] 利用已通过的协议创建namenode代理的Client Failover proxy provider类。 将参数值设置为“org.apache.hadoop