检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
getProperty("serviceDiscoveryMode"); // 请仔细阅读此内容: // MapReduce任务通过JDBC方式访问Hive // Hive会将sql查询封装成另一个MapReduce任务并提交 // 所以不建议在MapReduce作业中调用Hive
集群管理接口 创建集群 修改集群名称 创建集群并提交作业 扩容集群 缩容集群 集群添加组件 查询集群节点列表 父主题： API V2
IAM同步管理接口 获取已经同步的IAM用户和用户组 IAM同步 指定用户、用户组取消同步 父主题： API V2
配置的原则是磁盘尽量多，且磁盘空间尽量大，单个达到百GB以上规模更合适。简单的做法是配置和data node相同的磁盘，只在最下一级目录上不同即可。 多个磁盘之间使用逗号隔开。 参数 描述 默认值 yarn.nodemanager.log-dirs 日志存放地址（可配置多个目录）。
缩容集群 功能介绍 对MRS集群进行缩容。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/shrink 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释：
starting：启动中 terminating：删除中 terminated：已删除 failed：失败 接口约束 无 调用方法 请参见如何调用API。 URI DELETE /v1.1/{project_id}/clusters/{cluster_id} 表1 路径参数 参数 是否必选
作业管理接口（废弃） 新增作业并执行（废弃） 查询作业exe对象列表（废弃） 查询作业exe对象详情（废弃） 删除作业执行对象（废弃） 父主题： 历史API
文件： # -*- coding:utf-8 -*- """ 【说明】 (1)由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现 (2)如果使用yarn-client模式运行,请确认Spark2x客户端Spark2x/spark/conf/spark-defaults
Node”完成，远程服务器将回调Oozie的接口，这时Oozie又会以同样的方式执行工作流中的下一个“Action Node”，直到工作流中所有“Action Node”都完成（完成包括失败）。 Oozie工作流提供各种类型的“Action Node”用于支持不同的业务需要，如MapReduce，HDFS，SSH，Java以及Oozie子流程。
IoTDBSinkOptions options = new IoTDBSinkOptions(); options.setHost("127.0.0.1"); options.setPort(22260); options.setUser("用户名");
IoTDBSinkOptions options = new IoTDBSinkOptions(); options.setHost("127.0.0.1"); options.setPort(22260); options.setUser("用户名");
访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错或部分页面不可用如何处理？ 问： 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错，或部分功能不可用怎么办？ 答： 访问HDFS、Hue、Yarn、
建的DataArts Studio实例保持一致。 创建具有访问OBS权限的ECS委托，详细操作请参考配置MRS集群通过IAM委托对接OBS中“创建具有访问OBS权限的ECS委托”部分。例如委托名称为“mrs_ecs_obs”。 创建包含Hive、Spark等组件的MRS集群，并创建用户、安装客户端。
集群管理接口 创建集群并执行作业 调整集群节点 查询集群列表 查询集群详情 查询主机列表 删除集群 父主题： API V1.1
作业管理接口 新增并执行作业 查询作业列表信息 查询单个作业信息 终止作业 获取SQL结果 批量删除作业 父主题： API V2
给指定集群添加标签 查询指定集群的标签 删除指定集群的标签 批量添加集群标签 批量删除集群标签 查询所有标签 查询特定标签的集群列表 父主题： API V1.1
性能点。目前Spark支持两种Shuffle方式，一种是Hash，另外一种Sort。网络也有两种方式，Netty和NIO。 表8 参数说明 参数 描述 默认值 spark.shuffle.manager 处理数据的方式。有两种实现方式可用：sort和hash。sort shuffle对内存的使用率更高，是Spark
Manager关键特性：统一用户权限管理 Manager提供系统中各组件的权限集中管理功能。 Manager引入角色的概念，采用RBAC的方式对系统进行权限管理，集中呈现和管理系统中各组件零散的权限功能，并且将各个组件的权限以权限集合（即角色）的形式组织，形成统一的系统权限概念。
linux6版本示例 -- 如果是安全模式，设置admin权限 set role admin; -- 添加连接关系型数据库的驱动jar包,不同数据库有不同的驱动JAR ADD JAR hdfs:///tmp/ojdbc6.jar; CREATE EXTERNAL TABLE ora_test
安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。 场景一：准备本地Windows开发环境调测程序所需配置文件。 下载并解压客户端软件包。 MRS 3.3.0之前版本，登录FusionInsight
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
