检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用admin用户登录Manager界面,选择“集群 > 集群属性”,查看集群的“认证模式”并记录。 选择“集群 > 服务 > Hive”,单击页面右上角的“更多”查看Hive是否启用Ranger鉴权。 选择“系统 > 权限 > 用户”,单击“添加用户”,配置以下参数并单击“确定”,创建执行自定义函数的用户:
Kafka集群的21005/21007/21008/21009端口。 如果配置了SASL,则必须配置sasl.kerberos.service.name为kafka,并在conf/flink-conf.yaml中配置security.kerberos.login相关配置项。 如果配置了SSL,则必须配置ssl
创建MRS Hive集群 购买一个包含有Hive组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS 3.1.5版本的集群为例,组件包含Hadoop、Hive组件,集群开启Kerberos认证。 单击“立即购买”,等待MRS集群创建成功。 准备应用开发配置文件 集群创建成功后,登录FusionInsight
配置“基本配置”,填写数据源名称,选择数据源类型“JDBC > ClickHouse”。 配置“ClickHouse配置”,参数配置请参考表1。 表1 ClickHouse配置 参数 描述 取值样例 驱动 默认为“clickhouse”。 clickhouse JDBC URL ClickHouse数据源的JDBC
就会通知调度器不要继续调度task到该节点,从而避免任务失败。 但是默认情况下,当集群中有33%的节点都被加入黑名单时,调度器会忽略黑名单节点。因此,该黑名单特性在小集群场景下容易失效。比如,集群只有3个节点,当1个节点出现故障,黑名单机制失效,不管task的attempt在同一
用户认证及权限类 登录MRS集群Manager的用户是什么? 集群内用户密码的过期时间如何查询和修改? 如果不开启Kerberos认证,MRS集群能否支持访问权限细分? 如何给集群内用户添加租户管理权限? Hue WebUI有配置账号权限的功能吗? 为什么IAM子账号添加了MRS权限却无法在控制台提交作业?
properties”中RFA与RFAS相关的配置复制到已有的log4j配置中。 代码样例 以下为代码片段: hbase.root.logger=INFO,console,RFA //hbase客户端日志输出配置,console:输出到控制台;RFA:输出到日志文件 hbase
properties中RFA与RFAS相关的配置复制到已有的log4j配置中。 代码样例 以下为代码片段: hbase.root.logger=INFO,console,RFA //hbase客户端日志输出配置,console:输出到控制台;RFA:输出到日志文件 hbase
MRS Hive对接外部LDAP配置说明 使用Kafka Eagle对接MRS Kafka 使用Jupyter Notebook对接MRS Spark 集群管理类 MRS集群阈值类告警配置说明 提交Spark任务到新增Task节点 配置MRS集群弹性伸缩 组件应用开发规范类 ClickHouse应用开发规范
配置ClickHouse系统表的生命周期 操作场景 ClickHouse没有默认配置系统表的TTL,长期使用可能会占用大量磁盘空间。 本章节指导用户配置系统表的生命周期,仅保留近30天的数据,减少系统表的磁盘使用。 本章节仅适用于MRS 3.2.0之前版本。 操作步骤 使用具有C
导入并配置Alluxio样例工程 在获取MRS样例工程,下载样例工程到本地。 导入样例工程到Eclipse开发环境。 打开Eclipse,选择“File > Import”。显示“Import”窗口,选择Existing Maven Projects,单击“next”按钮。 在“Import
user:group -R 客户端安装目录/HBase 使用HBase客户端 安装客户端,具体请参考安装客户端章节。 以客户端安装用户,登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env
在“python-examples/pyCLI_sec.py”中的hosts数组中填写安装HiveServer的节点的业务平面IP地址。HiveServer业务平面IP地址可登录FusionInsight Manager,选择“集群 > 服务 > Hive > 实例”查看。 将“python-examples/pyCLI_sec
配置ClickHouse系统表的生命周期 操作场景 ClickHouse没有默认配置系统表的TTL,长期使用可能会占用大量磁盘空间。 本章节指导用户配置系统表的生命周期,仅保留近30天的数据,减少系统表的磁盘使用。 本章节仅适用于MRS 3.2.0之前版本。 操作步骤 使用具有C
properties文件所在路径 -run 参数列表: 表2 参数列表 参数 含义 job 表示执行的是job任务 -oozie oozie服务器地址(任意节点) -config job.properties文件所在路径 -run 表示启动流程 例如: oozie job -oozie
HBase HFS Java API接口介绍 使用条件 集群版本小于MRS 3.x。 接口介绍 主要类说明: 接口org.apache.hadoop.hbase.filestream.client.FSTableInterface常用接口说明: 方法 说明 void put(FSPut
创建Doris表 本章节介绍创建Doris表样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQL语句在集群中dbName变量对应的数据库下创建tableName对应的表。 String createTableSql = "create table
修改HDFS实例配置,登录FusionInsight Manager页面,选择“集群 > 服务 > HDFS > 配置 > 全部配置 > HDFS(服务)> 自定义”在参数“hdfs.core-site.customized.configs”中添加如下自定义参数,保存配置。 参数名称
HetuEngine 约束与限制 已安装DBeaver 7.2.0版本。DBeaver软件下载链接:https://dbeaver.io/files/7.2.0/ 。 适用于LTS版的MRS 3.1.2及以后版本集群。 步骤一:创建MRS集群和计算实例 创建MRS集群。 创建并购买一个包含H
权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作前需要进行如下配置: 从MySQL数据库安装路径下获取MySQL客户端jar包(如mysqlclient-5.8.1.jar),将其保存在Loader服务主备节点的lib