检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 执行以下命令,切换到Kafka客户端安装目录。
取子目录下的文件,所以没有读取到HIVE_UNION_SUBDIR目录下的数据。 处理步骤 在集群详情页面选择“组件管理 > Presto > 服务配置”。 切换“基础配置”为全部配置“。 在左侧导航处选择“Presto > Hive”,在“catalog/hive.properties”文件中增加“hive
08:00:18,763 | WARN | QuorumPeer[myid=26](plain=/10.16.9.138:2181)(secure=disabled) | Exception when following the leader | org.apache.zookeeper
${BIGDATA_DATA_HOME}/hadoop/data3/dn 在FusionInsight Manager管理界面,选择“集群 > 服务 > HDFS > 实例”,单击指定的DataNode实例并切换到“实例配置”页签。 将配置项“dfs.datanode.data.dir”从默认值“%{@auto
Manager页面,选择“服务管理 > 下载客户端”下载客户端安装包至主管理节点。 如仅需更新客户端配置文件,请参考更新客户端(3.x之前版本)页面的方法二操作。 使用IP地址搜索主管理节点并使用VNC登录主管理节点。 在主管理节点,执行以下命令切换用户。 sudo su - omm 在MRS管理控制台
Presto应用开发常见问题 Presto接口介绍 在集群外节点运行PrestoJDBCExample缺少证书 在集群外节点连接开启Kerberos认证的集群,HTTP在Kerberos数据库中无法找到相应的记录 父主题: Presto开发指南
管理MRS集群用户 创建MRS集群用户 修改MRS集群用户信息 锁定MRS集群用户 删除MRS集群用户 初始化MRS集群用户密码 下载MRS集群用户认证凭据文件 父主题: 管理MRS集群用户
管理MRS租户资源 管理MRS租户资源目录 管理MRS租户资源池 清除MRS租户队列配置 重装Yarn服务后手动恢复MRS租户数据 删除MRS租户 Superior调度器模式下管理MRS全局用户策略 Capacity调度器模式下清除租户非关联队列 父主题: 管理MRS集群租户
ck_user:创建的ClickHouse用户,需要绑定一个具有ClickHouse管理员权限的角色,创建用户请参考创建MRS集群用户章节,创建角色请参考管理MRS集群角色章节。 登录MRS控制台,单击集群名称进入集群详情页面。 选择“组件管理 > ClickHouse > 实例”,勾选待缩容节点的Cl
Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器
将Java样例工程导入到IDEA中。 打开IntelliJ IDEA。在“Quick Start”页面选择“Import Project”。 或者,针对已使用过的IDEA工具,您可以从IDEA主界面直接添加。选择“File > Import project...”导入工程。 图12 Import Project(Quick
${BIGDATA_DATA_HOME}/hadoop/data3/dn 在FusionInsight Manager管理界面,选择“集群 > 服务 > HDFS > 实例”,单击指定的DataNode实例并切换到“实例配置”页签。 将配置项“dfs.datanode.data.dir”从默认值“%{@auto
持通过“角色管理”进行手动管理。 使用此租户时,请创建一个系统用户,并分配Manager_tenant角色以及租户对应的角色。 队列配置 在集群详情页,单击“租户管理”。 单击“队列配置”页签。 在租户队列表格,指定租户队列的“操作”列,单击“修改”。 在“租户管理”页签左侧租户
检查待删除的租户是否存在子租户,如果存在,需要先删除全部子租户,否则无法删除当前租户。 待删除租户的角色,不能与任何一个用户或者用户组存在关联关系。 通过管理控制台删除租户 在集群详情页,单击“租户管理”。 在左侧租户列表,将光标移动到需要删除的租户节点上,单击“删除”。 界面显示删除租户对话框。根据业务需求,需要保
需要在安装客户端的机器上进行kinit认证操作后才可执行示例操作。 以下示例均为https协议的示例,若要使用http协议,需要执行以下操作: 将REST接口切换成HTTP协议方式,请参见配置基于HTTPS/HTTP协议的REST接口。 将示例中的“--insecure”去掉,将https替换成http,例如
08:00:18,763 | WARN | QuorumPeer[myid=26](plain=/10.16.9.138:2181)(secure=disabled) | Exception when following the leader | org.apache.zookeeper
Manager,重复以上操作。 配置MRS集群间互信(MRS 2.x及之前版本) 在MRS管理控制台,分别查看两个集群的所有安全组。 当两个集群的安全组相同,请执行3。 当两个集群的安全组不相同,请执行2。 在VPC管理控制台,选择“访问控制 > 安全组”,在对应安全组名称的操作列单击“配置规则”,分别为每个安全组添加规则。
MRS各组件样例工程汇总 样例工程获取地址参见获取MRS应用开发样例工程,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 MRS样例代码库提供了各组件的基本功能样例工程供用户使用,当前版本各组件提供的样例工程汇总参见表1。 表1
Spark2x样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Spark2x相关样例工程:
区分包周期,集群是包年还是包月。 取值范围: 0:包月。 1:包年。 scale String 参数解释: 集群节点的变更状态(扩容/缩容/变更规格)。当该参数取值为空时,表示集群节点没有进行变更操作。(默认为英文,当X-Language请求头被设置为zh-cn时,该字段会返回中文,因此请谨慎设置X-Language等语言请求头)。