检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在运行Colocation工程时,需要设置运行用户,此用户需绑定supergroup用户组。 在运行Colocation工程时,HDFS的配置项fs.defaultFS不能配置为viewfs://ClusterX。 初始化 使用Colocation前需要设置运行用户。 private static
ent实例,进行从location创建group、删除group、写文件和删除文件的操作。 使用Colocation功能,用户指定了DataNode,会造成某些节点上数据量很大。数据倾斜严重,导致HDFS写任务失败。 由于数据倾斜,导致MapReduce只会在某几个节点访问,造成这些节点上负载很大,而其他节点闲置。
ent实例,进行从location创建group、删除group、写文件和删除文件的操作。 使用Colocation功能,用户指定了DataNode,会造成某些节点上数据量很大。数据倾斜严重,导致HDFS写任务失败。 由于数据倾斜,导致MapReduce只会在某几个节点访问,造成这些节点上负载很大,而其他节点闲置。
执行以下命令切换到客户端安装目录,配置环境变量并认证用户: cd HBase客户端安装目录 source bigdata_env kinit 组件业务用户(集群未启用Kerberos认证(普通模式)请跳过该操作) 执行以下命令登录HBase客户端,并创建表,写入数据后不要关闭HBase客户端。
kafka.direct.lifo 配置是否开启Kafka后进先出功能。 false 不建议修改的参数 以下参数在安装集群时已进行了适配,不建议用户进行修改。 表2 不建议修改的参数说明 配置项 说明 默认值或配置示例 spark.password.factory 用于选择密钥解析方式。
kafka.direct.lifo 配置是否开启Kafka后进先出功能。 false 不建议修改的参数 以下参数在安装集群时已进行了适配,不建议用户进行修改。 表2 不建议修改的参数说明 配置项 说明 默认值或配置示例 spark.password.factory 用于选择密钥解析方式。
如果购买MRS集群的计费模式为按需计费,扩容磁盘容量后MRS集群不支持转包周期。 前提条件 ClickHouse集群和实例状态正常。 已评估好要扩容的ClickHouse节点数据盘磁盘容量大小。 扩容数据盘磁盘容量 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 单击“节点管理”,在对应的Cl
Hue是一组WEB应用,用于和MRS大数据组件进行交互,能够帮助用户浏览HDFS,进行Hive查询,启动MapReduce任务等,它承载了与所有MRS大数据组件交互的应用。 Hue主要包括了文件浏览器和查询编辑器的功能: 文件浏览器能够允许用户直接通过界面浏览以及操作HDFS的不同目录; 查询
使用DBeaver访问Phoenix 本实践介绍如何使用DBeaver访问Phoenix。 本地安装的DBeaver可通过Phoenix Jar包对接MRS集群HBase组件。对接成功后,可在DBeaver中创建HBase表并插入数据。 使用DBeaver访问HetuEngine
以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,进行用户认证。 kinit 组件业务用户 执行以下命令,切换到Kafka客户端安装目录。
以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,进行用户认证。 kinit 组件业务用户 执行以下命令,切换到Kafka客户端安装目录。
LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -u数据库登录用户 -p -PFE查询连接端口 -hDoris FE实例IP地址 执行命令后输入数据库登录用户密码。 Doris FE的查询连接端口,可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”
查看MRS集群日志 MRS集群日志概述 查看MRS云服务操作日志 查看历史MRS集群信息 查看MRS集群审计日志 查看MRS组件角色实例日志 在线检索MRS集群日志 下载MRS集群日志 采集MRS集群服务堆栈信息 配置MRS组件默认日志级别与归档文件大小 配置MRS集群审计日志本地备份数
单击“确定”。 添加用户并将ClickHouse对应角色绑定到该用户 登录Manager,选择“系统 > 权限 > 用户”,单击“添加用户”,进入添加用户页面。 “用户类型”选择“人机”,在“密码”和“确认密码”参数设置该用户对应的密码。 用户名:添加的用户名不能包含字符“-”,否则会导致认证失败。
普通模式或者使用密码认证方式时,登录使用的用户。 keytab登录方式,则不需要设置该参数。 bar authentication.password 使用密码认证方式时,登录使用的用户密码。 普通模式或者keytab登录方式,则不需要设置该参数。 用户需要对密码加密,加密方法: 进
普通模式或者使用密码认证方式时,登录使用的用户。 keytab登录方式,则不需要设置该参数。 bar authentication.password 使用密码认证方式时,登录使用的用户密码。 普通模式或者keytab登录方式,则不需要设置该参数。 用户需要对密码加密,加密方法: 进
配置Spark数据传输加密 操作场景 本章节指导用户设置Spark安全通道加密,以增强安全性。 该章节仅适用于MRS 3.x及之后版本。 配置Spark数据传输加密 参数修改入口:登录Manager页面,选择“集群 > 服务 > Spark > 配置”,展开“全部配置”页签,在搜索框中输入相关参数名称。
使用的堆内存大小”的两倍(可根据实际业务场景进行修改)。 重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 重启服务期间服务不可用,业务中断。重启实例期间实例不可用,当前实例节点任务会执行失败。 收集故障信息。 在FusionInsight Manager界面,选择“运维
使用的堆内存大小”的两倍(可根据实际业务场景进行修改)。 重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 重启服务期间服务不可用,业务中断。重启实例期间实例不可用,当前实例节点任务会执行失败。 收集故障信息。 在FusionInsight Manager界面,选择“运维
r集群互信。 操作步骤 登录Kafka服务所在Manager页面,选择“系统 > 权限 > 用户 > 添加用户”,创建一个具有Kafka权限的人机用户,例如创建人机用户ck_user1,首次使用需要修改初始密码。Kafka用户权限介绍请参考Kafka用户权限说明。 选择“集群 >