检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题: Spark Core企业级能力增强
HBase本地二级索引介绍 批量加载HBase数据并生成本地二级索引 使用TableIndexer工具生成HBase本地二级索引 父主题: HBase企业级能力增强
批量加载HBase数据并生成本地二级索引 使用TableIndexer工具生成HBase本地二级索引 迁移HBase索引数据 父主题: HBase企业级能力增强
修改HBase全局二级索引状态 批量构建HBase全局二级索引数据 检查HBase全局二级索引数据一致性 基于全局二级索引查询HBase表数据 父主题: HBase企业级能力增强
配置Kafka用户Token认证信息 操作场景 使用Token认证机制时对Token的操作。 本章节内容适用于MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求,并准备一个系统用户。 已开启Token认证机制。 已安装Kafka客户端。
ClickHouse应用开发流程介绍 开发流程中各阶段的说明如图1所示。 图1 ClickHouse应用程序开发流程 表1 ClickHouse应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解ClickHouse的基本概念。 基本概念 准备开发和运行环境
ClickHouse应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 ClickHouse应用程序开发流程 表1 ClickHouse应用开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前,需首先准备开发环境,ClickHouse的应用程序支持多
source bigdata_env source Hive/component_env kinit 组件业务用户(集群未启用Kerberos认证(普通模式)请跳过该操作) 登录Hive客户端,并执行以下命令创建Hive表: beeline create table hivetest(a
x之前版本,请登录MRS Manager界面,选择“服务管理 > Tez > Tez WebUI”,在TezUI界面查看任务执行情况。 父主题: Hive企业级能力增强
MRS支持企业项目管理。企业项目是一种云资源管理方式,企业管理(Enterprise Management)提供面向企业客户的云上资源管理、人员管理、权限管理、财务管理等综合管理服务。区别于管理控制台独立操控、配置云产品的方式,企业管理控制台以面向企业资源管理为出发点,帮助企业以公司
使用Kafka Token认证 场景说明 Token认证机制是一种轻量级身份认证机制,无需访问Kerberos认证,可在API中使用。 代码样例 Token认证机制支持API,用户可在二次开发样例的Producer()和Consumer()中对其进行配置。 Producer()配置的样例代码如下:
HBase用户认证失败 用户问题 HBase用户认证失败。 问题现象 客户侧HBase用户认证失败,报错信息如下: 2019-05-13 10:53:09,975 ERROR [localhost-startStop-1] xxxConfig.LoginUtil: login failed
如果用户安装安全模式需要使用kerberos认证和security cookie认证。 表1 安全认证方式 安全认证方式 配置方法 Kerberos认证(当前只支持keytab认证方式) 从FusionInsight Manager上下载准备集群认证用户信息创建的用户keytab文件,并
配置Oozie业务运行流程 功能描述 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name 流程文件名 start
根据集群的认证模式及是否启用Ranger鉴权为新创建的用户赋权: 集群的“认证模式”为“安全模式”: “启用Ranger鉴权”按钮置灰(Hive已启用Ranger鉴权),执行1.e。 “停用Ranger鉴权”按钮置灰(Hive未启用Ranger鉴权),执行1.f。 集群的“认证模式”为“普通模式”:
如果不开启Kerberos认证,MRS集群能否支持访问权限细分? MRS 1.8.0版本之前未开启Kerberos认证的集群不支持访问权限细分。只有开启Kerberos认证才有角色管理权限,MRS 1.8.0及之后版本的所有集群均拥有角色管理权限。 MRS 2.1.0及之前版本:在MRS
说明 默认端口 PLAINTEXT 支持无认证的明文访问。 获取参数“port”的值,默认为9092。 SASL_PLAINTEXT 支持Kerberos认证的明文访问。 获取参数“sasl.port”的值,默认为21007。 SSL 支持无认证的SSL加密访问。 获取参数“ssl.port”的值,默认为9093。
hadoopConf); 安全认证代码(Scala版) 目前样例代码统一调用LoginUtil类进行安全认证,安全登录流程请参见统一认证章节。 在Spark样例工程代码中,不同的样例工程,使用的认证代码不同,基本安全认证或带ZooKeeper认证。样例工程中使用的示例认证参数如表3所示,请根据实际情况修改对应参数值。
hadoopConf); 安全认证代码(Scala版) 目前样例代码统一调用LoginUtil类进行安全认证,安全登录流程请参见统一认证章节。 在Spark样例工程代码中,不同的样例工程,使用的认证代码不同,基本安全认证或带ZooKeeper认证。样例工程中使用的示例认证参数如表3所示,请根据实际情况修改对应参数值。
Manager登录认证 功能介绍 实现Basic认证登录,并返回登录后的httpClient。 前提条件 配置用户的集群信息和登录账号信息: 配置文件:“样例工程文件夹\conf\UserInfo.properties”。 参数说明: userName:登录Manager系统的用户名。