检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
nMaster在尝试连接已经退出的Driver失败后,会在ResourceManager页面上标记此次Application为FAILED状态。 这种情况为小概率事件且不影响Spark SQL对外展现的应用完成状态。也可以通过增大Yarn客户端连接次数和连接时长的方式减少此事件发生的概率。配置详情请参见:
ultScanner close之前的请求会固定访问第一次RPC时使用的集群。 HBase Admin接口、实时写入接口只会访问主集群。所以主集群故障后,不能提供Admin接口功能和实时写入接口功能,只能提供Get、Scan查询服务。 HBase双读支持以下两种方式设置主备集群的相关配置:
在集群外节点连接开启Kerberos认证的集群,HTTP在Kerberos数据库中无法找到相应的记录 问题 presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar在集群内节点运行时正常,但在集群外节点运行PrestoJDBCE
使用Scan API读取HBase表数据 功能简介 要从表中读取数据,首先需要实例化该表对应的Table实例,然后创建一个Scan对象,并针对查询条件设置Scan对象的参数值,为了提高查询效率,建议指定StartRow和StopRow。查询结果的多行数据保存在ResultScan
使用Get API读取HBase表数据 功能简介 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。也可以为Get对象设定参数值,如列族的名称和列的名称。查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 代码样例 以下代码片段在com
以客户端安装用户,登录安装客户端的节点,执行如下命令: cd {客户端安装目录} source bigdata_env 如果集群已启用Kerberos认证(安全模式),执行以下命令进行用户认证。集群未启用Kerberos认证(普通模式)无需执行用户认证。 kinit 组件业务用户 执行
User:表示该映射关系为针对用户的映射,identifiers中填写用户名称列表。 Group:表示该映射关系为针对用户组的映射,identifiers中填写用户组名称列表。 默认取值: 不涉及 identifiers 是 Array of strings 参数解释: IAM委托映射的用户(组)名称
回滚补丁 回滚补丁前检查 回滚补丁 回滚补丁后操作 父主题: MRS 3.3.1-LTS.1.1补丁说明
户可以登录集群节点进行操作。对于弹性伸缩场景,MRS支持通过自定义弹性伸缩自动化脚本来解决。自动化脚本可以在弹性伸缩前后执行相应操作,自动适应业务负载的变化,免去了人工操作。同时,自动化脚本给用户实现个性需求提供了途径,完全自定义的脚本与多个可选的执行时机基本可以满足用户的各项需求,使弹性伸缩更具灵活性。
操作步骤 以客户端安装用户,登录安装HBase客户端的节点。 进入HBase客户端安装目录: 例如:cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建HB
修改完成后,单击左上方“保存”,在弹出的对话框中单击“确定”保存配置。 选择“集群 > 待操作集群的名称 > 服务 > Impala > 实例”,勾选配置状态为“配置过期”的实例,选择“更多 > 重启实例”重启受影响的Impala实例。 父主题: 使用Impala
如何修改HDFS主备倒换类? 当MRS 3.x版本集群使用HDFS连接NameNode时,报“org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider”类无法找到时,是由于MRS 3.x版本集群
e file和Avro格式的log file存储。 查看Hudi表:登录FusionInsight Manager页面,选择“集群 > 服务 > HDFS”,在“概览”页面单击NameNode WebUI后的链接,进入到HDFS的WebUI界面,选择“Utilities > Browse
S进行存储。以HDFS存储来看,一个Hudi表的存储文件分为两类。 登录FusionInsight Manager页面,选择“集群 > 服务 > HDFS”,在“概览”页面单击NameNode WebUI后的链接,进入到HDFS的WebUI界面,选择“Utilities > Browse
创建HDFS多线程任务 功能简介 建立多线程任务,同时启动多个实例执行文件操作。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 // 业务示例2:多线程 final int THREAD_COUNT
在使用HDFS提供的API之前,需要先进行HDFS初始化操作。过程为: 加载HDFS服务配置文件,并进行kerberos安全认证。 认证通过后,实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件,请提前准备。 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均
部署Function Plugin 部署前需要确认: HetuEngine服务处于正常状态。 HDFS和HetuEngine客户端已经安装到集群节点,例如“/opt/client”目录下。 已创建HetuEngine用户,用户创建请参考创建HetuEngine权限角色。 将打包Maven项目得到的myfunctions-0
null\bin\winutils.exe in the Hadoop binaries. 通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager,选择“集群 > 服务 > Mapreduce > JobHistoryServer”进入Web界面后查看任务执行状态。
Hive on HBase 配置跨集群互信下Hive on HBase 删除Hive on HBase表中的单行记录 父主题: 使用Hive
HDFS故障排除 往HDFS写数据时报错“java.net.SocketException” 删除大量文件后重启NameNode耗时长 EditLog不连续导致NameNode启动失败 当备NameNode存储元数据时,断电后备NameNode启动失败 dfs.datanode.data