检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义,请咨询系统管理员。执行cd命令进入客户端安装目录,然后执行source bigdata_env。 如果集群采用安全版本,要进行安全认证。 执行kinit hdfs命令,按提示输入密码。向MRS集群管理员获取密码。 执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。
Manager页面“服务管理 > Ranger > 实例”中查看主RangerAdmin节点IP。 输入的证书密码为用户自定义密码。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 登录MRS管理控制台。 选择“现有集群”,单击集群名称进入集群详情页面。
创建Job 启动Job 删除Job IoTDB审计日志 维护管理 授权 收回权限 认证和登录信息 业务操作 删除时间序列/分区/函数/索引 修改时间序列操作 ClickHouse审计日志 维护管理 授权 收回权限 认证和登录信息 业务操作 创建数据库/表 插入、删除、查询、执行数据迁移任务
例如,集群中有40个以上的节点,根据各节点的硬件和网络配置,分别用Normal、HighCPU、HighMEM、HighIO为四类节点创建标签,添加到四个资源池中,资源池中的各节点性能如表3所示。 表3 不同资源池中的各节点性能 标签名 节点数 硬件和网络配置 添加到 关联 Normal 10
restart策略。 如果用户在作业失败后,希望对作业进行重试,推荐使用failure-rate策略。因为fixed-delay策略可能会因为网络、内存等硬件故障导致用户作业失败次数达到最大重试次数,从而导致作业失败。 为了防止在failure-rate策略下的无限重启,推荐如下参数配置:
information Receiver info: No information 是,执行2.c。 否,执行2.b。 联系运维人员查看是否为网络故障,并修复故障。 是,执行2.c。 否,执行3。 等待5分钟,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行3。 收集故障信息。
调用,自动化监控或告警等运维也会停止。如果在保留期结束时您没有续费,集群将终止服务,系统中的数据也将被永久删除。 保证金 按需购买集群时,华为云根据用户等级和历史使用情况可能会冻结一定的保证金,资源释放时自动解冻保证金。更多信息,请参见保证金。
ntConfig.tar 检查客户端网络连接。 确保客户端所在主机能与解压目录下“hosts”文件(例如“/tmp/FusionInsight_Cluster_1_Services_ClientConfig/hosts”)中所列出的各主机在网络上互通。 当客户端所在主机不是集群中
password:节点用户密码信息。 如果执行失败,请在执行目录的work_space/log_XXX下查看node.log日志。 配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。 批量升级MRS集群客户端 以待安装客户端的用户登录客户端下载节点。
/opt/client/bigdata_env source /opt/client/Spark2x/component_env 执行以下命令认证用户。 kinit Hive业务用户 执行以下命令登录客户端工具。 /opt/client/Spark2x/spark/bin/beeline
例如,Hive客户端安装目录为“/opt/hiveclient”,执行source /opt/hiveclient/bigdata_env 执行以下命令认证用户。 kinit Hive业务用户 执行以下命令登录客户端工具。 beeline 执行以下命令更新Hive用户的管理员权限。 set role
/opt/client/bigdata_env source /opt/client/Spark2x/component_env 执行以下命令认证用户。 kinit Hive业务用户 执行以下命令登录客户端工具。 /opt/client/Spark2x/spark/bin/beeline
读文件时,Client会向NameNode请求所读Block所在的DataNode列表。NameNode会返回根据网络拓扑距离进行排序的DataNode列表。开启读取的HDFS Load Balance功能时,NameNode会在原先网络拓扑距离排序的基础上,根据每个节点的平均I/O负载情况进行顺序调整,把高I/O负载的节点顺序调整至后面。
方向安全组规则中有一条全部协议,全部端口,源地址为可信任的IP访问范围的规则。 若HDFS存在损坏的数据块,则缩容集群可能出现失败,请联系华为云支持人员处理。 页面右上角弹出缩容节点提交成功提示框。 集群缩容过程说明如下: 缩容中:集群正在缩容时集群状态为“缩容中”。已提交的作业
'^]'类似打印则说明可以连通,如果出现connection refused则表示失败,无法连接到相关端口。 如果相关端口打开,但是从别的节点无法连通到该端口,则需要排查下相关网络配置。 23662这个端口每次都是随机的,所以要根据自己启动任务打开的端口来测试。 父主题: 使用Spark
权限。因为备集群将更新HBase系统Zookeeper节点和HDFS文件。 主集群HBase故障后,主集群的Zookeeper、文件系统和网络依然可用。 场景介绍 Replication机制可以使用WAL将一个集群的状态与另一个集群的状态保持同步。启用HBase备份后,如果主集群
读取权限。因为它将更新HBase系统ZooKeeper节点和HDFS文件。 主集群HBase故障后,主集群的ZooKeeper,文件系统和网络依然可用。 场景介绍 Replication机制可以使用WAL将一个集群的状态与另一个集群的状态保持同步。启用HBase备份后,若主集群出
统管理员。进入客户端安装目录,设置环境变量: cd 客户端安装目录 source bigdata_env 如果集群采用安全版本,要进行安全认证。执行kinit hbase命令,按提示输入密码(向MRS集群管理员获取密码)。 执行以下命令进入hbase shell,查看目前负载均衡功能是否打开:
默认值:1 1 单击“删除”可以删除已增加的自定义配置参数。 单击“确定”。 登录集群客户端所在节点,执行以下命令,切换到客户端安装目录并认证用户。 cd /opt/client source bigdata_env kinit HetuEngine组件操作用户 (普通模式集群跳过)
统管理员。执行cd命令进入客户端安装目录,然后执行source bigdata_env命令设置环境变量。 如果集群采用安全版本,要进行安全认证。 执行kinit hdfs命令,按提示输入密码。向MRS集群管理员获取密码。 执行hdfs dfs -ls 文件或目录路径命令,检查该目