检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Hue提交Oozie Streaming作业 操作场景 该任务指导用户通过Hue界面提交Streaming类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“数据流”按钮,将其拖到操作区中。
使用Hue提交Oozie Streaming作业 操作场景 该任务指导用户通过Hue界面提交Streaming类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“数据流”按钮,将其拖到操作区中。
登录主管理节点。 执行ps -ef | grep slapd,查询配置文件位于“${BIGDATA_HOME}/om-0.0.1/”路径下面的LdapServer资源进程是否正常。
约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 flavor String 参数解释: 虚拟机规格ID。
弹性云服务器需要允许用户使用密码方式登录(SSH方式)。 配置待安装客户端节点的NTP时间同步,使节点时间与MRS集群时间同步。 登录MRS服务管理控制台,在集群列表单击MRS集群名称,进入MRS集群详情页面。
Master Master是中心管理节点,负责管理所有的tablet、tablet server以及副本之间的关联关系。
只有开启Kerberos认证才有角色管理权限,MRS 1.8.0及之后版本的所有集群均拥有角色管理权限。 MRS 2.1.0及之前版本:在MRS Manager页面选择“系统设置”>“配置”>“权限配置”查询。
Oozie工作流提供各种类型的“Action Node”用于支持不同的业务需要,如MapReduce,HDFS,SSH,Java以及Oozie子流程。 Oozie开源增强特性 安全增强: 支持Oozie权限管理,提供管理员与普通用户两种角色。
单击“作业管理”,在作业列表界面单击“添加”。 “作业类型”选择“HadoopStreaming”,参考表1配置作业信息。 表1 作业配置信息 参数 描述 示例 作业名称 作业名称,只能由字母、数字、中划线和下划线组成,并且长度为1~64个字符。
set max_bytes_before_external_group_by=20000000000; #20G set max_memory_usage=40000000000; #40G 如果客户数据量大,而且是全表查询,建议按照分区进行查询或者进行升级集群core节点的规格。
Alluxio常用概念 Masters 由两个进程组成,一个是处理用户请求和管理Journal存储系统元数据的Alluxio Master,另一个是调度文件系统操作的Alluxio Job Master。
MRS集群的时间可通过登录主管理节点(集群管理IP地址所在节点)运行date命令查询。 下载MapReduce客户端程序到客户端机器中。 登录MRS Manager系统。
处理步骤 进入服务页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
集群创建完成后可在集群“组件管理”页签看到ZooKeeper组件。 创建MRS 3.x及之后版本集群时,可以在创建集群的界面看到ZooKeeper组件,并默认勾选。 父主题: 集群创建类
以FlinkServer管理员权限的用户访问API来获取普通用户权限。 本章节适用于MRS 3.3.0及以后版本。
FE 主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。 BE 主要负责存储数据、执行查询计划、副本负载均衡。 Leader Leader为Follower组中选举出来的一种角色。
查看Ranger审计信息内容 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 单击“Audit”,查看相关审计信息,各页签内容说明请参考表1,条目较多时,单击搜索框可根据关键字段进行筛选。
NameNode 用于管理文件系统的命名空间、目录结构、元数据信息以及提供备份机制等。 Active NameNode:主NameNode,管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息;记录写入的每个“数据块”与其归属文件的对应关系。
处理步骤 使用admin用户登录到FusionInsight Manager用户管理界面,检查当前报错用户的权限。 用户至少具有Manager的以下权限之一才可以访问。 使用root或omm用户登录到主OMS节点。
_jvm, 'com.huawei.bigdata.spark.examples.datasources.AvroSource') # 创建类实例并调用方法,传递sc._jsc参数 spark._jvm.AvroSource().execute(spark.