检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kerberos认证 登录Manager管理页面时是否启用Kerberos认证。 关闭 用户名 Manager管理员用户,目前默认为admin用户。 admin 密码 配置Manager管理员用户的密码。 xxx 确认密码 再次输入Manager管理员用户的密码。 xxx 登录方式 登录集群ECS节点的方式。
布式存储系统。HBase设计目标是解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。 具有很好的伸缩能力。 能够同时处理结构化和非结构化的数据。 不需要完全拥有传统
布式存储系统。HBase设计目标是解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。 具有很好的伸缩能力。 能够同时处理结构化和非结构化的数据。 不需要完全拥有传统
1.8.10.1 发布时间 2020-01-07 解决的问题 MRS大数据组件 MRS Kafka优化健康检查及滚动重启逻辑 补丁兼容关系 无。 安装补丁的影响 安装MRS 1.8.10.1补丁期间会重启MRS Manager和Kafka服务,重启服务期间会引起服务暂时不可用。 父主题:
选择“系统 > 权限 > 用户组 > 添加用户组”,设置“组名”,单击“角色”后的“添加”,在弹出的界面选择2创建的角色,单击“确定”将该角色添加到组中,单击“确定”完成用户组的创建。 选择“系统 > 权限 > 用户 > 添加用户”: “用户名”填写待添加的用户名。 “用户类型”设置为“人机”。
RegionServer数太少。 HBase 单个RegionServer上Region数过多。 HBase RegionServer堆大小较小。 资源不足。 相关参数配置不合理。 处理步骤 检查相关配置是否合理 在FusionInsight Manager首页,选择“运维 > 告警 >
1端口,普通模式集群监测21400端口。 是,执行4。 否,重启RangerAdmin故障实例或Ranger服务,执行3。 重启服务期间服务不可用,业务中断。重启实例期间实例不可用,当前实例节点任务会执行失败。 在告警列表中查看“RangerAdmin状态异常”告警是否清除。 是,处理完毕。
completed tasks = 3025] 回答 出现上述问题的原因是:当spark-sql退出时,应用退出关闭消息通道,如果当前还有消息未处理,需要做连接关闭异常的处理,此时,如果scala内部的线程池已经关闭,就会打印RejectEdExecutionException的异常栈,如果sca
ainerExecutor进行开放。请参考官网资料对LinuxContainerExecutor进行安全配置。您可通过官网资料了解系统用户和用户组配置对应的文件系统权限。详情请参见: MRS 3.2.0之前版本:http://hadoop.apache.org/docs/r3.1
rn队列资源,可能导致任务耗时较长,并且影响其他使用此队列运行的任务。 可能原因 执行的HQL语句存在可以优化的可能。 处理步骤 检查HQL的Map个数。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Hive > 资源”,查看
UI展示了HBase集群的状态,其中包括整个集群概况信息、RegionServer和Master的信息、快照、运行进程等信息。通过Web UI提供的信息可以对整个HBase集群的状况有一定的了解。 请联系管理员获取具有访问Web UI权限的业务账号及其密码。 操作步骤 登录FusionInsight Manager页面。选择“集群
配置Yarn权限控制开关 手动指定运行Yarn任务的用户 配置AM失败重试次数 配置AM自动调整分配内存 配置AM作业自动保留 配置Yarn数据访问通道协议 配置自定义调度器的WebUI 配置NodeManager角色实例使用的资源 配置ResourceManager重启后自动加载Container信息
的目录,因此要求用户具备“/user/hive/warehouse”目录的读写、执行权限或具有Hive的group权限。 “/user/hive/warehouse”目录可通过hive.metastore.warehouse.dir参数指定。 父主题: SQL和DataFrame
JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServer来访问SparkSQL的数据。JDBCServer在启动的时候,会启动一个sparkSQL的应用程序,而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源,也就是说不同的用户之间可以共享数据。JD
进入扩容集群页面。 只有运行中的集群才能进行扩容操作。 设置“系统盘”和“数据盘”的类型、“扩容节点数量”、“启动组件”和“执行引导操作”参数。系统呈现集群使用的到期时间和此次扩容节点所需的费用。“启动组件”和“执行引导操作”参数部分版本的集群可能不支持,请以界面实际参数为准。
oreFile时创建了HDFS连接,当创建StoreFile或加载StoreFile完成时,HDFS方面认为任务已完成,将连接关闭权交给HBase,但HBase为了保证实时响应,有请求时就可以连接对应数据文件,需要保持连接,选择不关闭连接,所以连接状态为CLOSE_WAIT(需客户端关闭)。
JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServer来访问SparkSQL的数据。JDBCServer在启动的时候,会启动一个sparkSQL的应用程序,而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源,也就是说不同的用户之间可以共享数据。JD
UI展示了HBase集群的状态,其中包括整个集群概况信息、RegionServer和Master的信息、快照、运行进程等信息。通过Web UI提供的信息可以对整个HBase集群的状况有一定的了解。 请联系管理员获取具有访问Web UI权限的业务账号及其密码。 操作步骤 登录FusionInsight Manager页面。选择“集群
] } ] } 示例6:授权用户最小权限,创建ECS和BMS混合集群。 创建集群时如果使用密钥对,需增加权限“ecs:serverKeypairs:get”和“ecs:serverKeypairs:list”。 创集群时使用数据盘加密
Alluxio简介 Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置,从而能够更容易、更快地被访问。同时使得应用程序能够通过一个公共接口连接到许多存储系统。 Alluxio主要特点如下: