检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive JDBC样例程序开发思路 场景说明 假定用户开发一个Hive数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“emp
前提条件 MRS集群已安装Spark组件,并且正常运行。 已创建具有Spark管理操作权限的用户,用户组添加hadoop、hive、supergroup,主组添加hadoop。 操作步骤 使用具有Spark管理操作权限的用户登录Manager页面,选择“集群 > 服务 > Spark”。
以root用户登录客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行cd命令进入客户端安装目录,然后执行source bigdata_env。如果集群采用安全版本,要进行安全认证,执行kinit hdfs命令,按提示输入密码(向MRS集群管理员获取密码)。如果集群采用非安全版本,需使用o
在MRS集群详情页面,单击“组件管理 > ZooKeeper > quorumpeer”。 查看ZooKeeper各实例是否正常。 是,执行6。 否,执行3。 选中健康状态不为良好的实例,单击“更多 > 重启实例”。 查看实例重启后健康状态是否为良好。 是,执行5。 否,执行19。 在“告警管理”页签,查看该告警是否恢复。
本章节仅适用于MRS 3.1.5及之后版本。 告警解释 告警模块按60秒周期检测Guardian服务状态,当检测到Guardian服务异常时,系统产生此告警。 当系统检测到Guardian服务恢复正常,且告警处理完成时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45736 紧急 是
的表分区,从而提高查询效率。 操作步骤 MRS 3.x之前版本: 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。选择“节点管理 > 节点名称” ,进入弹性云服务器界面。单击“远程登录”按钮,完成Hive节点的登录。 MRS3.x及后续版本: 以root用户登录已安装Hive客户端的节点。
hbasedev 单击“Add”添加服务。 启动Ranger HBase Plugin,授权Ranger管理HBase。 在MRS控制台,单击集群名称进入集群详情页面。 选择“组件管理”。 选择“HBase > 服务配置”,将“基础配置”切换为“全部配置”。 搜索并修改“hbase.security
Hive JDBC样例程序开发思路 场景说明 假定用户开发一个Hive数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“emp
Impala样例程序开发思路 场景说明 假定用户开发一个Impala数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“empl
一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理,该类中提供了创建索引的方法。 二级索引不支持修改,如果需要修改,请先删除旧的然后重新创建。 代码样例 以下代码片段在com.huawei
添加HBase二级索引 功能介绍 您可以使用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中提供的方法来管理HIndexes。 该类提供了将索引添加到现有表的方法: 根据用户是否希望在添加索引操作期间构建索引数据,有两种不同的方法可将索引添加到表中:
Impala样例程序开发思路 场景说明 假定用户开发一个Impala数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“empl
Hive JDBC样例程序开发思路 场景说明 假定用户开发一个Hive数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“emp
一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理,该类中提供了创建索引的方法。 二级索引不支持修改,如果需要修改,请先删除旧的然后重新创建。 代码样例 以下代码片段在com.huawei
apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法进行HBase全局二级索引的管理,该类中addIndices用于创建全局二级索引。 全局二级索引的创建需要指定索引列、覆盖列(可选)、索引表预分区(可选,建议指定)。 在
解决Hive和Spark路径下adapter-hadoop-wrapper-file-system包版本错误问题 解决HBase服务Manager上保存多命名空间,后台不生效问题 新增HDFSWrapper支持AbstractFileSystem 补丁兼容关系 无。 安装补丁的影响 安装MRS 1.9.3
单击“Attempt ID”列的ID 图4 单击“Logs” 使用具有当前Flink作业的管理操作权限的用户登录Manager,选择“集群 > 服务 > Flink”,单击“Flink WebUI”后的链接,单击“作业管理”,在作业的“操作”列选择“更多 > 作业详情”也可查看Taskmanager日志。
ALM-27006 数据目录磁盘空间使用率超过阈值 告警解释 系统每30秒周期性检查DBServer主节点的数据目录磁盘空间使用率,并把实际数据目录磁盘空间使用率和阈值相比较,当数据目录磁盘空间使用率连续5次(可配置,默认值为5)超过设定阈值时,系统将产生此告警。数据目录磁盘空间使用率的阈值设为80%(可配置,默认值为80%)。
HBase表以“命名空间:表名”格式进行存储,若在创建表时不指定命名空间,则默认存储在“default”中。其中,“hbase”命名空间为系统表命名空间,请不要对该系统表命名空间进行业务建表或数据读写等操作。 开发思路 根据上述的业务场景进行功能分解,需要开发的功能点如表2所示。 表2 在HBase中开发的功能
HBase表以“命名空间:表名”格式进行存储,若在创建表时不指定命名空间,则默认存储在“default”中。其中,“hbase”命名空间为系统表命名空间,请不要对该系统表命名空间进行业务建表或数据读写等操作。 开发思路 根据上述的业务场景进行功能分解,需要开发的功能点如表2所示。 表2 在HBase中开发的功能