检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager关键特性:多语言支持 Manager增加了对多语言的支持,系统自动根据浏览器的语言偏好设置,显示中文或者英文。当浏览器首选语言是中文时,Manager显示中文界面;当浏览器首选语言不是中文时,Manager显示英文界面。用户也可以根据语言偏好,在界面左下角一键切换中英文界面(仅MRS
hostname:port/oozie -config job.properties文件所在路径 -run 参数列表: 表2 参数列表 参数 含义 job 表示执行的是job任务 -oozie Oozie服务器地址(任意节点) -config job.properties文件所在路径 -run 表示启动流程
user 运行这个任务的用户。 applicationType 例如MAPREDUCE或者SPARK等。 finalStatus 可以知道任务是成功还是失败。 elapsedTime 任务运行的时间。 获取Yarn资源的总体信息 命令: curl -k -i --negotiate -u
hostname:port/oozie -config job.properties文件所在路径 -run 参数列表: 表2 参数列表 参数 含义 job 表示执行的是job任务 -oozie Oozie服务器地址(任意节点) -config “job.properties”文件所在路径 -run 表示启动流程
集群未启用Kerberos认证(普通模式)使用root用户登录。 登录客户端时可以通过-maxRPC参数,控制执行结果一次性打印多少行,默认值是1000;如果将-maxRPC参数值设置为小于等于0,则会一次性打印所有结果,通常用于重定向SQL执行结果。 登录客户端时,可选-disab
1 集群的健康检查中存在一项误报,而补丁安装前会进行集群的健康检查。从而导致客户第一次提交安装补丁后,提示集群异常,补丁安装终止。在确认报错是误报后,客户可以再次提交安装补丁请求,第二次安装补丁会跳过健康检查,进行补丁安装。 误报内容可以通过如下方式确认: 查看并导出健康检查报告,
命令行进行认证。由于提供的示例代码默认提供安全认证代码,请在yarn-cluster模式下时,修改对应安全代码后再运行应用。 如果您使用的是普通模式,准备业务应用代码及其相关配置即可。 调用org.apache.spark.launcher.SparkLauncher.launch()方法,将用户的应用程序提交。
addResource(new Path(userdir + "hbase-site.xml"), false); } [1]userdir获取的是编译后资源路径下conf目录的路径。初始化配置用到的core-site.xml、hdfs-site.xml、hbase-site.xml文件
导致系统崩溃。 ERROR ERROR表示当前事件处理出现错误信息,系统运行出错。 WARN WARN表示当前事件处理存在异常信息,但认为是正常范围,不会导致系统出错。 INFO INFO表示记录系统及各事件正常运行状态信息 DEBUG DEBUG表示记录系统及系统的调试信息。
ection.jar <inputPath> FemaleInfoCollection.jar为1生成的jar包。 <inputPath>是2.b创建的目录。 提交作业时,建议使用默认spark on yarn(即5中的--master yarn-client)模式。开源支持spark
失败任务管理:单击可查看“失败”状态的集群创建任务。 表1 集群列表参数 参数 参数说明 名称/ID 集群的名称,创建集群时设置。集群的ID是集群的唯一标识,创建集群时系统自动赋值,不需要用户设置。 :修改集群名称。 :复制集群ID。 集群版本 集群的版本号。 集群类型 显示创建集群的类型。
ection.jar <inputPath> FemaleInfoCollection.jar为1生成的jar包。 <inputPath>是2.b创建的目录。 (可选)在bin目录下调用spark-sql或spark-beeline脚本后便可直接输入SQL语句执行查询等操作。 如
选择待操作的RSGroup,在操作列单击“查看”,即可在弹出框中查看该RSGroup的RegionServers详情和Tables详情。 default RSGroup是HBase的默认RSGroup,所有已启动并且未手动添加到其他RSGroup的RegionServer节点都会添加到default RSGroup。
hostname:port/oozie -config job.properties文件所在路径 -run 参数列表: 表2 参数列表 参数 含义 job 表示执行的是job任务 -oozie Oozie服务器地址(任意节点) -config “job.properties”文件所在路径 -run 表示启动流程
命令行进行认证。由于提供的示例代码默认提供安全认证代码,请在yarn-cluster模式下时,修改对应安全代码后再运行应用。 如果您使用的是普通模式,准备业务应用代码及其相关配置即可。 调用org.apache.spark.launcher.SparkLauncher.launch()方法,将用户的应用程序提交。
选择待操作的RSGroup,在操作列单击“查看”,即可在弹出框中查看该RSGroup的RegionServers详情和Tables详情。 default RSGroup是HBase的默认RSGroup,所有已启动并且未手动添加到其他RSGroup的RegionServer节点都会添加到default RSGroup。
表的权限,具体请参见创建ClickHouse角色章节,为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行本步骤。 如果是MRS 3.1.0版本集群,则需要先执行:export CLICKHOUSE_SECURITY_ENABLED=true kinit 组件业务用户
DISTRIBUTED | VALIDATE | IO} 描述 显示一条语句的逻辑的或者分布式的执行计划,也可以用于校验一条SQL语句,或者是分析IO。 参数TYPE DISTRIBUTED用于显示分片后的计划(fragmented plan)。每一个fragment都会被一个或者多个节点执行。Fragments
tar包上传至HDFS。不同的“mapred-site.xml”文件可以指向不同的位置。用户在此之后可以针对特定的“mapred-site.xml”文件运行任务。以下是一个针对x版本的MapReduce tar包运行MapReduce任务的样例: hadoop jar share/hadoop/mapred
程。 使用windows访问MRS集群来操作Hive,有如下两种方式。 申请一台windows的ECS访问MRS集群操作Hive,此种方式是通过连接zookeeper动态获取HiveServer的地址然后来操作Hive,具有高可用性。 使用本机访问MRS集群操作Hive,由于本机