检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Hive客户端(MRS 3.x之前版本) 安装客户端,具体请参考安装客户端章节。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 根
3补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。 重新安装客户端前建议先对老客户端进行备份。
当前系统只支持部署在x86节点的ClickHouse集群对接HDFS,部署在ARM节点的ClickHouse集群不支持对接HDFS。 操作步骤 以客户端安装用户,登录客户端所在节点。 执行以下命令切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source
上传配置HetuEngine应用安全认证中得到的“jaas-zk.conf”、“user.keytab”和“krb5.conf”文件到Linux环境“/opt/client”目录下。 执行以下命令,进入集群客户端安装目录: cd /opt/client 执行以下命令,配置环境变量:
配置Hive SQL防御规则 配置Hive SQL防御操作场景 用户可以在Manager界面配置Hive的SQL防御规则,根据业务调整对应SQL防御规则的参数。 配置Hive SQL防御前提条件 已安装包含Hive服务的集群客户端,例如安装目录为“/opt/hadoopclient”。
配置Sqoop通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后,可在Sqoop客户端导入关系型数据库的表到OBS中,或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads
的访问监测。可通过设置Kafka服务配置“ssl.mode.enable”为“true”,来启动SSL和SASL_SSL两种协议类型的访问监测。下表是四种协议类型的简单说明: 可以参考修改集群服务配置参数进入Kafka全部配置页面,查看或配置参数。 协议类型 说明 默认端口 PLAINTEXT
配置SparkSQL业务用户权限 操作场景 SparkSQL业务还可能需要关联使用其他组件,例如spark on HBase需要HBase权限。以下介绍SparkSQL关联HBase服务的操作。 前提条件 完成Spark客户端的安装,例如安装目录为“/opt/client”。 获
配置SparkSQL业务用户权限 操作场景 SparkSQL业务还可能需要关联使用其他组件,例如Spark on HBase需要HBase权限。以下介绍SparkSQL关联HBase服务的操作。 前提条件 完成Spark客户端的安装,例如安装目录为“/opt/client”。 获
执行以下命令切换到客户端安装目录。 提前已安装集群客户端,以下客户端安装目录为举例,请根据实际情况修改。 cd /opt/client 执行以下命令,更新主管理节点的客户端配置。 sh refreshConfig.sh /opt/client 客户端配置文件压缩包完整路径 例如,执行命令:
需要对${Flume客户端安装目录}/conf/flume-env.sh文件中的-Dkerberos.domain.name项的值做修改,具体请根据实际域名进行配置。 上传所配置的properties.properties文件到${Flume客户端安装目录}/conf目录下。 父主题:
如何在不同的namespaces上逻辑地分割数据 问题 如何在不同的namespaces上逻辑地分割数据? 回答 配置: 要在不同namespaces之间逻辑地分割数据,必须更新HDFS,Hive和Spark的“core-site.xml”文件中的以下配置。 改变Hive组件将改
x及之后版本,且在集群外客户端节点中安装Python3。 操作流程 本实践基本操作流程如下所示: 步骤1:在MRS集群外节点安装客户端 步骤2:安装Python3 步骤3:安装Jupyter Notebook 步骤4:验证Jupyter Notebook访问MRS 步骤1:在MRS集群外节点安装客户端 准
MRS集群版本类型分为普通版与LTS版本,不同版本集群所包含的组件内容及特性略有不同,用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等,具体可以查看用户指南。 组件介绍 除共有组件外,普通版集群还支持Presto、Impala、Kudu、Sqoop等组件,可
角色章节。 配置HBase数据压缩格式和编码 创建时设置data block encoding和压缩算法。 方法一:使用hbase shell。 以客户端安装用户,登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd /opt/client 执行以下命令配置环境变量。 source
角色章节。 配置HBase数据压缩格式和编码 创建表时设置data block encoding和压缩算法。 方法一:使用hbase shell。 以客户端安装用户,登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd /opt/client 执行以下命令配置环境变量。 source
前提条件 已安装HBase客户端,例如安装目录为“/opt/client”。以下操作的客户端目录只是举例,请根据实际安装目录修改。在使用客户端前,需要先下载并更新客户端配置文件,确认Manager的主管理节点后才能使用客户端。 操作步骤 以客户端安装用户,登录安装HBase客户端的节点。
前提条件 已安装HBase客户端,例如安装目录为“/opt/client”。以下操作的客户端目录只是举例,请根据实际安装目录修改。在使用客户端前,需要先下载并更新客户端配置文件,确认Manager的主管理节点后才能使用客户端。 操作步骤 以客户端安装用户,登录安装HBase客户端的节点。
普通集群不需要执行2-6。 安装Flume客户端。 可参考安装MRS 3.x及之后版本Flume客户端在日志生成节点安装Flume客户端,例如安装目录为“/opt/Flumeclient”。以下操作的客户端目录只是举例,请根据实际安装目录修改。 将Master1节点上的认证服务器配置文件,复制到
如果当前的应用开发工程配置项中包含该配置项,则应用开发程序还需要引入Jar包“phoenix-core-4.4.0-HBase-1.0.jar”。此Jar包可以从HBase客户端安装目录下的“HBase/hbase/lib”获取。 如果不想引入该Jar包,请将应用开发工程的配置文件“hbase-site