检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可扩展性。 Spark具有如下特点： 快速：数据处理能力，比MapReduce快10-100倍。 易用：可以通过Java，Scala，Python，简单快速的编写并行的应用处理大数据量，Spark提供了超过80种的操作符来帮助用户组建并行程序。 普遍性：Spark提供了众多的工具，例如Spark
"error_msg" : "查询作业失败", "error_code" : "0162" } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
"MRS.00000000", "error_msg" : "标签配额不足" } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 关闭集群默认标签 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
"node_group_name" : "master_node_default_group" } ] } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
同时会启动应用程序DAG调度、Stage划分、Task生成。 然后Spark会把应用的代码（传递给SparkContext的JAR或者Python定义的代码）发送到Executor上。 所有的Task执行完成后，用户的应用程序运行结束。 图1 Spark应用运行架构 约束与限制 本章节仅适用于MRS
状态码： 200 缩容成功 { "result" : "succeeded" } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 在node_group_1节点组上缩容1个节点。 1 2 3 4 5 6 7 8 9 10 11 12
同时会启动应用程序DAG调度、Stage划分、Task生成。 然后Spark会把应用的代码（传递给SparkContext的JAR或者Python定义的代码）发送到Executor上。 所有的Task执行完成后，用户的应用程序运行结束。 图1 Spark应用运行架构 操作流程 本实践基本操作流程如下所示：
"cn-north-7a", "support_physical_az_group" : true } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
"resource_pool_name" : "default" } 响应示例 无 SDK代码示例 SDK代码示例如下。 Java Python Go 更多 更新一个弹性伸缩策略， 在节点组node_group_1中配置节点组数量范围为0-5，并配置2个伸缩规则。 如果YARNAppRunning
"resource_pool_name" : "default" } 响应示例 无 SDK代码示例 SDK代码示例如下。 Java Python Go 更多 创建一个弹性伸缩策略， 在节点组node_group_1中配置节点组数量范围为0-5，并配置2个伸缩规则。 如果YARNAppRunning
XXX。 { "order_id" : "CS231XXXXXXXXXXX" } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 在节点组node_group_1上扩容1个节点， 默认跳过引导操作，默认启动组件。 1 2 3 4 5 6
状态码： 200 操作成功。 { "result" : "succeeded" } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 配置集群弹性伸缩规则 1 2 3 4 5 6 7 8 9 10 11 12 13
Impala应用开发规则 创建集群时只需指定一个Catalog和一个StoreStore 如果已经创建了两个Catalog和StateStore，Impalad角色需要指定--catalog_service_host和--state_store_host，Catalog角色需要指
状态码： 200 请求处理结果 { "result" : "succeeded" } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 非安全集群添加请求添加ClickHouse组件 1 2 3 4 5 6 7 8 9 10 11 12 13
"node_status" : "started" } ], "node_total" : 1 } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
表。 SparkHivetoHbaseScalaExample SparkJavaExample Spark Core任务的Java/Python/Scala示例程序。 本工程应用程序实现从HDFS上读取文本数据并计算分析。 SparkPythonExample SparkScalaExample
不支持。 如上表所示，yarn-cluster模式中不支持在Spark工程代码中进行安全认证，因为需要在应用启动前已完成认证。 未提供Python样例工程的安全认证代码，推荐在运行应用程序命令中设置安全认证参数。 安全认证代码（Java版） 目前样例代码统一调用LoginUtil
不支持。 如上表所示，yarn-cluster模式中不支持在Spark工程代码中进行安全认证，因为需要在应用启动前已完成认证。 未提供Python样例工程的安全认证代码，推荐在运行应用程序命令中设置安全认证参数。 安全认证代码（Java版） 目前样例代码统一调用LoginUtil
不支持。 如上表所示，yarn-cluster模式中不支持在Spark工程代码中进行安全认证，因为需要在应用启动前已完成认证。 未提供Python样例工程的安全认证代码，推荐在运行应用程序命令中设置安全认证参数。 安全认证代码（Java版） 目前样例代码统一调用LoginUtil类进行安全认证。
提交Hive作业 提交Spark作业 Spark基于内存进行计算的分布式计算框架。Spark支持提交Spark Jar和Spark python程序，执行Spark application，计算和处理用户数据。 提交Spark作业 提交SparkSQL作业 Spark基于内存进
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
