检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark支持两种方式的序列化 ： Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer的性能可以达到JavaSerializer的10倍以上，
并发提交大量oozie任务的时候，任务一直没有运行。 原因分析 Oozie提交任务会先启动一个oozie-launcher，然后由oozie-launcher提交真正的作业运行。默认情况下launcher和真实作业会在同一个队列中。 当并发提交大量oozie任务的时候就有可能出现启动了
Spark同时访问两个集群中的HBase的Scala示例程序。 本示例不支持未开启Kerberos认证的集群。 SparkSQLJavaExample Spark SQL任务的Java/Python/Scala示例程序。 本工程应用程序实现从HDFS上读取文本数据并计算分析。 S
上述打包命令中的{maven_setting_path}为本地Maven的settings.xml文件路径。 打包成功之后，在工程根目录的“target”子目录下获取打好的jar包，例如“MRTest-XXX.jar”，jar包名称以实际打包结果为准。 上传生成的应用包“MRTest-XXX
在“配置资源权限”的表格中选择“待操作集群的名称 > IoTDB > 普通用户权限”，勾选root根目录的“设置数据库”权限。 单击“root”，选择对应的存储组，勾选“创建”、“修改”、“写”、“读”、“删除”权限，单击“确定”保存。 选择“用户 > 添加用户”，在新增用户界
通过Manager参看Kafka服务是否处于正常状态，当前可用Broker是否小于设置的replication-factor。 检查客户端命令中ZooKeeper地址是否正确，访问ZooKeeper上所存放的Kafka信息，其路径（Znode）应该加上/kafka，发现配置中缺少/kafka。
source_ip：源集群的HDFS的NameNode的业务地址。 source_port：源集群的HDFS的NameNode的端口号。 target_ip：目标集群的HDFS的NameNode的业务地址。 target_port：目标集群的HDFS的NameNode的端口号。 在弹出的“Dist
source_ip：源集群的HDFS的NameNode的业务地址。 source_port：源集群的HDFS的NameNode的端口号。 target_ip：目标集群的HDFS的NameNode的业务地址。 target_port：目标集群的HDFS的NameNode的端口号。 在弹出的“Dist
用户用于认证的账号Principal，使用准备集群认证用户信息章节中创建的用户。 userKeytabPath /opt/FIclient/user.keytab 用户用于认证的Keytab文件，将准备的开发用户的user.keytab文件复制到示例参数值的路径下。 ZKServerPrincipal zookeeper/hadoop
用户用于认证的账号Principal，使用准备MRS应用开发用户章节中创建的用户。 userKeytabPath /opt/FIclient/user.keytab 用户用于认证的Keytab文件，将准备的开发用户的user.keytab文件复制到示例参数值的路径下。 ZKServerPrincipal zookeeper/hadoop
在“名称”中输入作业的名称。 在“类型”中选择“导出”。 在“组”中设置作业所属组，默认没有已创建的组，单击“添加”创建一个新的组，输入组的名称，单击“确定”保存。 在“队列”中选择执行该作业的YARN队列。默认值“root.default”。 在“优先级”中选择执行该作业的YARN队列
在“名称”中输入作业的名称。 在“类型”中选择“导出”。 在“组”中设置作业所属组，默认没有已创建的组，单击“添加”创建一个新的组，输入组的名称，单击“确定”保存。 在“队列”中选择执行该作业的YARN队列。默认值“root.default”。 在“优先级”中选择执行该作业的YARN队列
用程序结果备份到HDFS的路径，<brokers>指获取元数据的Kafka地址，<topic>指读取Kafka上的topic名称，<batchTime>指Streaming分批的处理间隔。 由于Spark Streaming Kafka的依赖包在客户端的存放路径与其他依赖包不同，
ter节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。 自行搭建的客户端全量安装方法，请参见安装客户端（2.x及之前版本）。 重新安装客户端前建议先对老客户端进行备份。
er节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。 自行搭建的客户端全量安装方法，请参见安装客户端（2.x及之前版本）。 重新安装客户端前建议先对老客户端进行备份。
资源，当租户资源能使用的资源不满足最小资源时，可以通过抢占来要回之前借出的资源。 最大资源 租户资源最多能使用的资源，租户资源不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。 预留资源 租户资源预留资源。即使租户资源内没有作业，预留的资源也不能给别的租户资
记删除，同时将新的数据写入新的文件。在查询的时候，所有被标记删除的数据都会在文件级别被过滤掉，读取出来的数据就都是最新的数据，消除掉了读时合并中的数据聚合过程，并且能够在很多情况下支持多种谓词的下推。因此在许多场景都能带来比较大的性能提升，尤其是在有聚合查询的情况下。 Duplicate模型
可以通过以下3种方式的任意一种指定安全认证信息。 在客户端的“spark-default.conf”配置文件中，配置“spark.yarn.keytab”和“spark.yarn.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。
创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业中指定的Hive表的权限。 获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器数据导出目录的写入权限。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的任务需要使用指定YARN
创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业中指定的Hive表的权限。 获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器数据导出目录的写入权限。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的任务需要使用指定YARN
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
