检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark应用名在使用yarn-cluster模式提交时不生效 问题 Spark应用名在使用yarn-cluster模式提交时不生效，在使用yarn-client模式提交时生效，如图1所示，第一个应用是使用yarn-client模式提交的，正确显示代码里设置的应用名Spark P
Flink向Kafka生产并消费数据Java样例代码 功能简介 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka，则需要引入MRS的kafka-client-xx.x.x.jar，该jar包可在MRS
Flink向Kafka生产并消费数据Scala样例代码 功能简介 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka，则需要引入MRS的kafka-client-xx.x.x.jar，该jar包可在MRS
在集群外节点运行PrestoJDBCExample缺少证书 问题 presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar在集群内节点运行时正常，但在集群外节点运行PrestoJDBCExample连接开启Kerberos认证的集群缺少证书，报错如下:
【Ranger WebUI】新用户修改完密码后无法登录Ranger WebUI界面 问题 使用新建用户登录Ranger页面，为什么在修改完密码后登录报401错误？ 回答 由于UserSync同步用户数据有时间周期，默认是5分钟，因此在Manager上新创建的用户在用户同步成功前无
00”和“#guarantee(__ pc() <= s->code_end()) failed: overflowed buffer”，表示此问题是由JDK导致，需要如何解决？ 回答 修复步骤如下： 在RegionServer启动失败的某个节点执行 su - omm，切换到omm用户。
MapReduce作业信息无法通过ResourceManager Web UI页面的Tracking URL打开 问题 MapReduce JobHistoryServer服务地址变更后，为什么运行完的MapReduce作业无法通过ResourceManager Web UI页面打开？
当执行一个很复杂的SQL语句时，例如有多层语句嵌套，且单层语句中对字段有大量的逻辑处理（如多层嵌套的case when语句），此时执行该语句会报如下所示的错误日志，该错误表明某个方法的代码超出了64KB。 java.util.concurrent.ExecutionException: java.lang.Exception:
更改告警阈值，单击“确定”。 连接数较多时，请确认连接的必要性，否则会对服务的性能造成影响，甚至可能造成服务不可用。 等待两分钟，在告警列表中查看该告警是否清除。 是，处理完毕。 否，执行5。 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志
SQLContext：是SparkSQL功能的主入口。可用于创建DataFrame，注册DataFrame为一张表，表上执行SQL等。 pyspark.sql.DataFrame：分布式数据集。DataFrame等效于SparkSQL中的关系表，可被SQLContext中的方法创建。 pyspark.sql.Data
支持，左右表可选择使用watermark或者时间范围进行状态清理 Left Outer 有条件的支持，左表可选择使用watermark进行状态清理，右表必须使用watermark+时间范围 Right Outer 有条件的支持，右表可选择使用watermark进行状态清理，左表必须使用watermark+时间范围
如何添加自定义代码的依赖包 问题 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面。
ORY_AND_DISK）等。 JavaRDD支持两种类型的操作：Transformation和Action，这两种类型的常用方法如表1和表2。 表1 Transformation 方法 说明 <R> JavaRDD<R> map(Function<T,R> f) 对RDD中的每个element使用Function。
使用REST接口查询HBase集群信息 功能简介 使用REST服务，传入对应host与port组成的url，通过HTTPS协议，获取集群版本与状态信息。 代码样例 获取集群版本信息 以下代码片段在“hbase-rest-example\src\main\java\com\huaw
使用Sasl Kerberos认证 在安全集群环境下，各个组件之间不能够简单地相互通信，而需要在通信之前进行相互认证，以确保通信的安全性。Kafka应用开发需要进行Kafka、ZooKeeper、Kerberos的安全认证，这些安全认证只需要生成一个jaas文件并设置相关环境变量
org.apache.hadoop.mapred.JobConf：MapReduce作业的配置类，是用户向Hadoop提交作业的主要配置接口。 表1 类org.apache.hadoop.mapreduce.Job的常用接口 功能 说明 Job(Configuration conf, String
运行Producer.java样例运行获取元数据失败如何处理 解决步骤 检查工程conf目录下“client.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确。 如果IP与Kafka集群部署的业务IP不一致，那么需要修改为当前集群正确的IP地址。
为什么并行度大于待处理的block数目时，CarbonData仍需要额外的executor？ 问题 为什么并行度大于待处理的block数目时，CarbonData仍需要额外的executor？ 回答 CarbonData块分布对于数据处理进行了如下优化： 优化数据处理并行度。 优化了读取块数据的并行性。
YARN资源池的所有节点都被加入黑名单，任务一直处于运行状态 问题 为什么YARN资源池的所有节点都被加入黑名单，而YARN却没有释放黑名单，导致任务一直处于运行状态？ 回答 在YARN中，当一个APP的节点被AM（ApplicationMaster）加入黑名单的数量达到一定比例
Driver返回码和RM WebUI上应用状态显示不一致 问题 ApplicationMaster与ResourceManager之间通信发生长时间异常时，为什么Driver返回码和RM WebUI上应用状态显示不一致？ 回答 在yarn-client模式下，Spark的Driv
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
