检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
x之前版本请参考安装客户端章节。 MRS 3.x及之后版本请参考安装客户端章节。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执
Node的详细信息,并将RPC调用保存到备用的NameNode。在异常情况下有很多优势,例如当备用的NameNode连接长时间不响应时。 当发生故障,将另一个NameNode切换为活动状态时,缓存的详细信息将被更新为当前活动的NameNode的信息。 本章节适用于MRS 3.x及后续版本。 操作步骤 设置参数的路径如下:
客户端安装目录/HBase 使用HBase客户端 安装客户端,具体请参考安装客户端章节。 以客户端安装用户,登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已
当主节点进程异常结束时,HDFS NameNode Standby通过ZooKeeper感知“/hadoop-ha”目录下发生了变化,NameNode会进行主备切换。 ZooKeeper和YARN的关系 ZooKeeper与YARN的关系如图2所示。 图2 ZooKeeper与YARN的关系 在系统启
distinct出现次数超过2就进行“提示”的规则。 图1 添加Hive SQL防御规则 登录安装有Hive客户端的节点,执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令,配置环境变量。 source bigdata_env 执行以下
在Linux环境新建运行目录,将“target”目录下的“doris-rest-client-example-*.jar”放到该路径下。 切换到运行目录,执行以下命令,运行Jar包。 java -jar doris-rest-client-example-*.jar 否,执行4。
的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,进行用户认证(普通模式跳过此步骤)。 kinit 组件业务用户 执行以下命令,切换到Kafka客户端安装目录。
集群名称,进入集群信息页面。 在集群详情页,单击“组件管理”。 单击服务列表中指定的服务名称。 单击“服务配置”。 将页面右侧“基础配置”切换为“全部配置”。 图1 全部配置 在左侧导航栏定位到某个一级节点,并选择“自定义”,MRS将显示当前组件的自定义参数。 自定义参数支持服务
本章节适用于MRS 3.x及后续版本。 前提条件 已安装Hive客户端。 操作步骤 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录 例如安装目录为“/opt/client”,则执行以下命令: cd /opt/client 执行以下命令配置环境变量。
用Oozie调度Spark访问HBase以及Hive。 使用客户端上传Oozie的examples文件夹到HDFS。 登录客户端所在节点,切换到客户端所在目录,例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
e表上原始数据,因为保留一张未加密的表存在安全风险。 创建Hive列加密表 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户(如果
自身的配置优先。 单击“确定”。 完成后请重新启动配置过期的服务或实例以使配置生效。 配置实例组参数:在“实例组”页签导航栏选择一个角色,切换至“配置”页签,调整需要修改的配置参数后单击“保存”,相关配置将对实例组内所有实例生效。 父主题: 管理MRS集群组件
分析集群HDFS使用情况,增加HDFS分配给Hive使用的容量上限。 登录MRS集群详情页面,单击“组件管理 > Hive > 服务配置”,将“基础配置”切换为“全部配置”,然后查找“hive.metastore.warehouse.size.percent”,调大该配置项。设配置项的值为A,H
参考打包Strom样例工程应用执行打包,并将jar包命名为“example.jar”。 将导出的Jar包复制到Linux环境的“/opt/test/lib”目录下。 切换到“/opt/test”,执行以下命令,运行Jar包。 java -classpath /opt/test/lib/*:/opt/test/src/main/resources
可以单独将topic的数据保留期改为较短时间来释放磁盘空间,该方式无需重启Kafka服务即可生效。具体请参见8。 登录Manager页面,在Kafka的服务配置页面,切换为“全部配置”并搜索“log.retention.hours”配置项,该值默认为7天,请根据需要进行修改。 可以单独将这些磁盘上的topi
记录Kafka角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,参考使用MRS客户端章节,登录安装客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin
目前支持使用Hive读取DB2和Oracle两种关系型数据库的数据。 前提条件 已安装Hive客户端。 操作步骤 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录 例如安装目录为“/opt/client”,则执行以下命令: cd /opt/client 执行以下命令配置环境变量。
单击服务列表中指定的服务名称。 单击“实例”页签。 单击角色实例列表中指定的角色实例名称。 单击“实例配置”页签。 将页面右侧“基础配置”切换为“全部配置”,界面上将显示该角色实例的全部配置参数导航树。 在导航树选择指定的参数,修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。
开启跨AZ高可用之后,同一个shard的所有副本节点在一个AZ内。 处理步骤 修改副本节点AZ 以客户端安装用户,登录安装客户端的节点。执行以下命令,切换到客户端安装目录。 cd {客户端安装路径} 执行以下命令配置环境变量。 source bigdata_env 执行以下命令进行用户认证(普通模式跳过此步骤)。
例如在Master2节点更新客户端,则登录该节点使用客户端,具体参见更新客户端(3.x之前版本)。 执行以下命令切换用户。 sudo su - omm 执行以下命令,切换到客户端目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。 source