检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据集群模式执行相关命令。 如果集群未开启Kerberos认证，则可以直接执行组件客户端相关命令。 例如使用HDFS客户端命令查看HDFS根目录文件： hdfs dfs -ls / 如果集群开启了Kerberos认证，执行kinit命令进行用户认证。 例如： kinit admin Password
录路径，该目录大小限制可查询结果集大小； Phoenix实现了大部分java.sql接口，SQL紧跟ANSI SQL标准。 MRS 1.9.2之后的版本需要按HBase Phoenix API接口介绍中下载和配置开源的phoenix包。 父主题： HBase应用开发常见问题
件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。 准备ClickHouse应用运行环境 配置并导入样例工程 ClickHouse提供了不同场景下的样例程序，用户可获取样例工程并导入本地开发环境中进行程序学习。
客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证，该用户需具有OBS目录的读写权限。普通模式集群无需执行用户认证。 kinit HDFS组件操作用户 在HDFS命令行显式添加要访问的OBS文件系统。 例如：
中的任意字符。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight
已创建包含Flume组件的集群。 日志主机需要与MRS集群在相同的VPC和子网。 已获取日志主机的登录方式。 安装目录可以不存在，会自动创建。但如果存在，则必须为空。目录路径不能包含空格。 操作步骤 获取软件包。 登录FusionInsight Manager，选择“集群 > 待操作集群的名称
中的任意字符。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight
中的任意字符。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight
Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件，详情请参考准备Spark连接集群配置文件。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“spark-examples”目录下的“sparknormal-examples”文件夹中的Scala、Spark
form功能，与开源社区版本保持一致。 用户可修改配置开关，开启Transform功能，当开启Transform功能时，存在一定的安全风险。 只有安全模式支持禁用Transform功能，普通模式不支持该功能。 操作步骤 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理
Spark同时访问两个HBase样例程序开发思路 场景说明 spark支持同时访问两个集群中的HBase，前提是两个集群配置了互信。 数据规划 将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的“/etc/hosts”文件中。
HBase样例程序开发思路 通过典型场景，您可以快速学习和掌握HBase的开发过程，并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，如表1所示，A业务操作流程如下： 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。
步骤2：准备应用程序 通过开源镜像站获取样例工程。 下载样例工程的Maven工程源码和配置文件，并在本地配置好相关开发工具，可参考通过开源镜像站获取样例工程。 根据集群版本选择对应的分支，下载并获取MRS相关样例工程。 例如本章节场景对应示例为“WordCountDemo”样例，获取地址：https://github
kerberosPrincipal - 认证HDFS的Kerberos用户名，未启用Kerberos认证集群不配置。 hdfs.kerberosKeytab - 认证HDFS的Kerberos keytab路径，未启用Kerberos认证集群不配置 hdfs.fileCloseByEndEvent
以root用户登录集群任意一个Master节点，并执行su - omm命令切换到omm用户。 执行如下命令登录数据库。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 gsql -p 20051 -d hivemeta -U
Spark同时访问两个HBase样例程序开发思路 场景说明 spark支持同时访问两个集群中的HBase，前提是两个集群配置了互信。 数据规划 将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的“/etc/hosts”文件中。
Spark同时访问两个HBase样例程序（Scala） 以下为Spark同时访问两个HBase样例程序的Scala示例。 下面代码片段仅为演示。 具体代码参见：com.huawei.spark.examples.SparkOnMultiHbase def main(args: Array[String]):
产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 可能引起Manager主备倒换。Manager和组件WebUI认证服务不可用，无法对Web上层服务提供安全认证和用户管理功能，可能引起无法登录Manager和组件的WebUI。 可能原因 Manager中LdapServer进程故障。
分隔符。 Hive开源增强特性：支持基于HTTPS/HTTP协议的REST接口切换 WebHCat为Hive提供了对外可用的REST接口，开源社区版本默认使用HTTP协议。 MRS Hive支持使用更安全的HTTPS协议，并且可以在两种协议间自由切换。 Hive开源增强特性：支持开启Transform功能
子网一致。 RDS实例的安全组入方向规则需要放通MySQL（默认为“3306”）和PostgreSQL（默认为“5432”）数据库端口。 例如，可通过在RDS控制台单击实例名称进入实例基本信息页面，在“连接信息”区域单击“安全组”右侧的安全组名称进入安全组控制台，在入方向规则页签中添加一个“协议端口”为TCP
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
