检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark同时访问两个HBase样例程序（Scala） 以下为Spark同时访问两个HBase样例程序的Scala示例。 下面代码片段仅为演示。 具体代码参见：com.huawei.spark.examples.SparkOnMultiHbase def main(args: Array[String]):
如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错 问题 Flink内核升级到1.3.0之后，当Kafka调用带有非static的KafkaPartitioner类对象为参数的FlinkKafkaProducer010去构造函数时，运行时会报错。
计算结果，并进行打印。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt” ）下。 运行任务 在运行样例程序时需要指定 <brokers> <subscribe-type> <topic>
安全组名称可在集群的“概览”界面的“安全组”查看。 添加安全组规则，默认填充的是用户访问弹性IP地址的规则，如需开放多个IP段为可信范围用于访问Manager页面，请参考6～9。如需对安全组规则进行查看，修改和删除操作，请单击“管理安全组规则”。 添加安全组规则会在“安全组 >
IE浏览器访问Spark2x原生UI界面失败，无法显示此页或者页面显示错误 问题 通过IE 9、IE 10和IE 11浏览器访问Spark2x的原生UI界面，出现访问失败情况或者页面显示错误问题。 现象 访问页面失败，浏览器无法显示此页，如下图所示： 原因 IE 9、IE 10、IE
Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败 问题 Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，执行应用时显示如下异常。
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user
Spark从HBase读取数据再写入HBase样例程序（Java） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei
Spark从Hive读取数据再写入HBase样例程序（Java） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
Spark从Hive读取数据再写入HBase样例程序（Python） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。
ProportionalCapacityPreemptionPolicy yarn.resourcemanager.monitor.capacity.preemption.observe_only 设置为“true”，则执行策略，但是不对集群资源进程抢占操作。 设置为“false”，则执行策略，且根据策略启用集群资源抢占的功能。
查看MRS集群组件监控指标 用户在日常使用中，可以在MRS管理所有组件（含角色实例）的状态及指标信息。状态信息包括运行、健康、配置及角色实例状态统计。指标信息为各组件的主要监控指标项。 查看MRS集群组件监控指标前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在
图1 示例 创建一个从SFTP服务器导入数据到HDFS的Loader作业，具体操作请参见使用Loader从SFTP服务器导入数据到HDFS/OBS。 使用安装客户端的用户登录客户端所在节点。 执行以下命令，进入schedule-tool工具的conf目录。例如，Loader客户端安装
Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败 问题 Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，执行应用时显示如下异常。
执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出，日志内容如下。 16/04/19 15:56:22 ERROR
此命令。 kinit MRS集群用户 例如，kinit admin。 启用Kerberos认证的MRS集群默认创建“admin”用户账号，用于集群管理员维护集群。 直接执行组件的客户端命令。 例如：使用HDFS客户端命令查看HDFS根目录文件，执行hdfs dfs -ls /。 在集群外节点上安装客户端
过设定阈值时被触发启动日志收集。 25 yarn.nodemanager.remote-app-log-dir-suffix 设置HDFS用于存放Container日志的文件夹名称。该配置加上“yarn.nodemanager.remote-app-log-dir”，构成了Con
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat' LOCATION 'obs://test-wxk/doristest' TBLPROPERTIES ( 'bucketing_version'='2', 'orc.compress'='ZLIB'
指标所属服务：指标所属的服务名名称，标明指标所属的服务类型，如HDFS、HBase等。 指标所属角色：指标所属的角色名名称，标明指标所属的实际角色类型，如JobServer、RegionServer等。 配置MRS集群监控指标数据转储（MRS 3.x及之后版本） 登录FusionInsight Manager。
过设定阈值时被触发启动日志收集。 25 yarn.nodemanager.remote-app-log-dir-suffix 设置HDFS用于存放Container日志的文件夹名称。该配置加上“yarn.nodemanager.remote-app-log-dir”，构成了Con
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
