检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager_viewer Manager查看员,具有主页、集群、主机、告警与事件、系统的查看权限和下载客户端权限。(下载客户端的权限仅MRS 3.2.0及之后版本支持) Manager_tenant Manager租户管理员。 可为当前用户所属于的非叶子租户创建子租户并管理。具有“运维 > 告警”页面下“告警”、“事件”的查看权限。
Sqlline接口介绍 可以直接使用sqlline.py在服务端对HBase进行SQL操作。Phoenix的sqlline接口与开源社区保持一致,请参见http://phoenix.apache.org/。 Sqlline常用语法见表1,常用函数见表2,命令行使用可以参考Phoenix命令行操作介绍章节。
管理Kafka Topic中的消息 操作场景 用户可以根据业务需要,使用MRS集群客户端,在Kafka主题中产生消息,或消费消息。 前提条件 已安装集群客户端。 启用Kerberos认证的集群,需要提前在Manager中创建业务用户,用户拥有在Kafka主题中执行相应操作的权限。
Sqlline接口介绍 可以直接使用sqlline.py在服务端对HBase进行SQL操作。Phoenix的sqlline接口与开源社区保持一致,请参见http://phoenix.apache.org/。 Sqlline常用语法见表1,常用函数见表2,命令行使用可以参考Phoenix命令行操作介绍章节。
使用MRS Spark SQL访问DWS表 华为云提供MapReduce服务(MRS),可在云上快速构建和运营全栈云原生大数据平台。它包含HDFS、Hive、HBase、Spark等大数据组件,专为分析海量企业数据而量身定制。 Spark提供了类似SQL的Spark SQL语言,
Spark ThriftServer接口介绍 简介 ThriftServer是Hive中的HiveServer2的另外一个实现,它底层使用了Spark SQL来处理SQL语句,从而比Hive拥有更高的性能。 ThriftServer是一个JDBC接口,用户可以通过JDBC连接Th
无法访问MRS集群Manager页面如何处理? 问题现象 MRS集群创建完成后,无法通过管理控制台访问集群Manager管理页面。 排查思路 检查集群状态:Manager页面无法正常访问,请首先确认MRS集群状态是否正常,如果集群已关闭或者正在创建中,或集群正在发生主备倒换,将无法访问Manager。
补丁安装后操作 升级客户端 如果有使用自主安装的客户端(集群内、外新下载客户端),需要执行客户端升级操作。 登录集群主节点并执行以下命令: cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下: scp
使用Hue创建工作流 操作场景 用户通过Hue管理界面可以进行提交Oozie作业,提交作业之前,首先需要创建一个工作流。 前提条件 使用Hue提交Oozie作业之前,需要提前配置好Oozie客户端,并上传样例配置文件和jar至HDFS指定目录,具体操作请参考Oozie客户端配置说明章节。
使用Hue创建工作流 操作场景 用户通过Hue管理界面可以进行提交Oozie作业,提交作业之前,首先需要创建一个工作流。 前提条件 使用Hue提交Oozie作业之前,需要提前配置好Oozie客户端,并上传样例配置文件和jar至HDFS指定目录,具体操作请参考Oozie客户端配置说明章节。
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现,它底层使用了Spark SQL来处理SQL语句,从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServ
管理Kafka Topic中的消息 操作场景 用户可以根据业务需要,使用MRS集群客户端,在Kafka主题中产生消息,或消费消息。 前提条件 已安装集群客户端。 启用Kerberos认证的集群,需要提前在Manager中创建业务用户,用户拥有在Kafka主题中执行相应操作的权限。
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现,它底层使用了Spark SQL来处理SQL语句,从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServ
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现,它底层使用了Spark SQL来处理SQL语句,从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServ
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 进入Spark客户端目录,使用java -cp命令运行代码(类名与文件名
--user HetuEngine组件操作用户 例如: hetu-cli --user hetu_test 执行以下命令,登录数据源的catalog。支持通过使用“--mode”参数来选择通过ZooKeeper连接或HSFabric连接方式登录数据源。 通过ZooKeeper连接(不指定“--mode”参数则默认为该方式)
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现,它底层使用了Spark SQL来处理SQL语句,从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServ
ClickHouse日志介绍 日志描述(MRS 3.2.0及之后版本) 日志路径:ClickHouse相关日志的默认存储路径为“${BIGDATA_LOG_HOME}/clickhouse”。 ClickHouse运行相关日志:“/var/log/Bigdata/clickhou
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 进入Spark客户端目录,使用java -cp命令运行代码(类名与文件名
Consumer初始化成功但是无法从Kafka中获取指定Topic消息 问题背景与现象 使用MRS安装集群,主要安装ZooKeeper、Flume、Kafka、Storm、Spark。 使用Storm、Spark、Flume或者自己编写consumer代码来消费Kafka中指定T