检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。 下面代码片段仅为演示，具体代码参见SparkHbasetoHbasePythonExample： # -*-
s为单位）。 30000 否 Blob服务端 表2 Blob服务端参数说明 参数 描述 默认值 是否必选 blob.server.port blob服务器端口。 32456-32520 否 blob.service.ssl.enabled blob传输通道是否加密传输，仅在全局开关security
原因 IE 11浏览器的某些版本在接收到HTTP 307响应时，会将POST请求转化为GET请求，从而使得POST数据无法下发到服务端。 解决建议 使用Google Chrome浏览器。 父主题： Loader常见问题
支持online和offline场景 接口类型简介 Kafka主要提供了的API主要可分Producer API和Consumer API两大类，均提供有Java API，使用的具体接口说明请参考Kafka Java API接口介绍。 常用概念 Topic Kafka维护的同一类的消息称为一个Topic。
误报内容可以通过如下方式确认： 查看并导出健康检查报告，健康检查结果上只存在这两个主机报错：“安装目录及数据目录检查： 目录下文件异常. 请检查安装目录和数据目录下的内容”。 图1 健康检查结果 安装补丁的影响 安装补丁后需要重启服务才能生效，重启服务期间引起服务暂不可用。 安装补
为9998（ficommon）才可执行。 解决办法 共有两种方式解决该问题。 方式一：通过storm原生页面查看进程堆栈 登录Storm原生界面。 MRS Manager界面操作： 访问MRS Manager。 在Manager选择“服务管理 > Storm”，在“Storm 概述”的“Storm
P上，外网无法访问。或者Broker所在节点只具有内网IP，外部服务通过网闸机映射访问内网。 ZooKeeper服务正常。 Kafka实例状态和磁盘状态均正常。 操作步骤 登录FusionInsight Manager界面。 选择“集群 > 服务 > Kafka > 实例 > Broker
trustore。 YARN内部认证方式 该方式是YARN内部的认证方式，不需要用户配置。 - 当前一个Flink集群只支持一个用户，一个用户可以创建多个Flink集群。 加密传输 Flink整个系统存在三种加密传输方式： 使用Yarn内部的加密传输方式：Flink yarn client与Yarn
来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（application/job）通常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式来处理。框架会对map的输出先
以HBaseContext的方式操作HBase，将上面生成的RDD写入HBase表中。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME”
创建Hive表 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式： 自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。 内部表，如果对数据的处理都由Hive完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。 外部
s_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 在启用了安全服务的集群中执行如下操作，需要在数据库中具有UPDATE权限及对加载数据文件具有owner权限和读写权限。 如果加载数据语句中有关键字LOCA
have no right to access the page” 问题现象 访问集群管理页面报错： You have no right to access the page. 原因分析 当前登录的用户没有访问Manager的权限。 “/srv/BigData/dbdata_om”所在的分区磁盘空间被占满。
[jobgroup]。 原因 IE 11浏览器的某些版本在接收到HTTP 307响应时，会将POST请求转化为GET请求，从而使得POST数据无法下发到服务端。 解决建议 使用Google Chrome浏览器。 父主题： Loader常见问题
table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。 下面代码片段仅为演示，具体代码参见SparkHbasetoHbasePythonExample： # -*-
table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。 下面代码片段仅为演示，具体代码参见SparkHbasetoHbasePythonExample： # -*-
按不同的语言分，Spark的API接口如表1所示。 表1 Spark API接口 接口 说明 Scala API 提供Scala语言的API。由于Scala语言的简洁易懂，推荐用户使用Scala接口进行程序开发。 Java API 提供Java语言的API。 Python API 提供Python语言的API。
配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Spark文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本
Oozie开源增强特性 Oozie开源增强特性：安全增强 支持Oozie权限管理，提供管理员与普通用户两种角色。 支持单点登录登出，HTTPS访问以及审计日志。 父主题： Oozie
环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。 若运行“Spark on
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
