检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS为用户提供海量数据的管理及分析功能，快速从结构化和非结构化的海量数据中挖掘您所需要的价值数据。开源组件结构复杂，安装、配置、管理过程费时费力，使用Manager将为您提供企业级的集群的统一管理平台。 提供集群状态的监控功能，您能快速掌握服务及主机的运行状态。 提供图形化的指标监控及定制，您能及时的获取系统的关键信息。
当一个NodeManager处于unhealthy的状态10分钟时，新应用程序失败 问题 当一个NM（NodeManager）处于unhealthy的状态10分钟时，新应用程序失败。 回答 当nodeSelectPolicy为SEQUENCE，且第一个连接到RM的NM不可用时，RM会在“yarn.nm
当一个NodeManager处于unhealthy的状态10分钟时，新应用程序失败 问题 当一个NM（NodeManager）处于unhealthy的状态10分钟时，新应用程序失败。 回答 当nodeSelectPolicy为SEQUENCE，且第一个连接到RM的NM不可用时，RM会在“yarn.nm
fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 202 同步请求下发的结果 错误码 请参见错误码。 父主题： IAM同步管理接口
页面查看全部企业项目。 单击“确定”，完成日志流的创建。 在日志流页面中，可以查看日志流的名称、企业项目、日志存储时间、创建时间和创建类型。 可以给不同的组件设置不同的日志流进行区分。 主机接入。 在云日志服务管理控制台，选择“接入 > 接入中心”。 在“全部分类”页签单击“云主机ECS”。
参数解释： 标签的键。 约束限制： 不涉及 取值范围： 标签的key值可以包含任意语种字母、数字、空格和_.:=+-@，但首尾不能含有空格，不能以_sys_开头。 默认取值： 不涉及 value String 参数解释： 标签的值。 约束限制： 不涉及 取值范围： 标签的value值可以包含任意语种字母、数字、空格和_
8及以上的版本，并安装JUnit插件。 若使用IBM JDK，请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保Eclipse中的JDK配置为Oracle JDK。 不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。
集群管理器在不同的应用之间调度资源。Driver同时会启动应用程序DAG调度、Stage划分、Task生成。 然后Spark会把应用的代码（传递给SparkContext的JAR或者Python定义的代码）发送到Executor上。 所有的Task执行完成后，用户的应用程序运行结束。
配置组件隔离访问Hive MetaStore 操作场景 MRS 3.2.0及之后的版本支持此功能，此功能用于限制集群内组件连接指定的Hive MetaStore实例，组件默认可连接所有MetaStore实例。 目前集群中支持连接MetaStore的组件有HetuEngine、Hi
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 请求成功 错误码 请参见错误码。 父主题： 版本元数据查询
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查看弹性伸缩策略成功 400 查看弹性伸缩策略失败 错误码
Hudi的自定义配置项样例程序 HoodieDeltaStreamer 自定义排序器 父主题： 开发Spark应用
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试： 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试： 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试： 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在
根据上面配置的路径，在HDFS客户端上新建如下文件夹： /user/developuser/myjobs/apps/spark2x/lib /user/developuser/myjobs/apps/spark2x/hbase /user/developuser/myjobs/apps/spark2x/hive
jar包 Oozie的share HDFS的“/user/oozie/share/lib/spark2x/”目录 将待使用样例工程的项目打包成jar包,比如OoizeSparkHBase-1.0.jar jar包 HDFS的“/user/developuser/myjobs/apps/spark2x/lib/”目录
Hudi的自定义配置项样例程序 HoodieDeltaStreamer 自定义排序器 父主题： 开发Spark应用
Spark运行作业报错“java.io.IOException: Connection reset by peer”如何处理？ 问： Spark作业运行一直不结束，查看日志报错：java.io.IOException: Connection reset by peer。 答： 修
SQL对用户SQL语句的执行逻辑是：首先解析出语句中包含的表，再获取表的元数据信息，然后对权限进行检查。 当表是parquet表时，元数据信息包括文件的Split信息。Split信息需要调用HDFS的接口去读取，当表包含的文件数量很多时，串行读取Split信息变得缓慢，影响性能。故对此做
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
