检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数是static函数，当用例中的KafkaPartitioner对象是非static时，ClosureCleaner::clean函数无法访问KafkaDelegatePartitioner类内的非static成员变量kafkaPartitioner，导致报错。 解决方法如下，两者任选其一：
数是static函数，当用例中的KafkaPartitioner对象是非static时，ClosureCleaner::clean函数无法访问KafkaDelegatePartitioner类内的非static成员变量kafkaPartitioner，导致报错。 解决方法如下，两者任选其一：
数是static函数，当用例中的KafkaPartitioner对象是非static时，ClosureCleaner::clean函数无法访问KafkaDelegatePartitioner类内的非static成员变量kafkaPartitioner，导致报错。 解决方法如下，两者任选其一：
查看HBase的HMaster日志，报如下错误： 检查HDFS上HBase的路径发现acl表路径丢失。 解决办法 停止HBase组件。 在HBase客户端使用hbase用户登录认证，执行如下命令。 例如： hadoop03:~ # source /opt/client/bigdata_env hadoop03:~
spark.examples.FemaleInfoCollection。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例： //配置Spark应用名称 val conf = new SparkConf().setAppName("CollectFemaleInfo")
topic) { super("KafkaConsumerExample", false); // 初始化consumer启动所需的配置参数，详见代码。 Properties props = initProperties(); consumer = new
开发Impala用户自定义函数 当Impala的内置函数不能满足需要时，可以通过编写用户自定义函数UDF（User-Defined Functions）插入自己的处理代码并在查询中使用它们。 按实现方式，UDF有如下分类： 普通的UDF，用于操作单个数据行，且产生一个数据行作为输出。
显示一条语句的逻辑的或者分布式的执行计划，也可以用于校验一条SQL语句，或者是分析IO。 参数TYPE DISTRIBUTED用于显示分片后的计划（fragmented plan）。每一个fragment都会被一个或者多个节点执行。Fragments separation表示数据
conflict. 原因分析 当前登录的用户不具备操作此目录的权限或者文件目录格式不正确。 解决方案 Hive对load data inpath命令有如下权限要求，请对照下述要求是否满足： 文件的owner需要为执行命令的用户。 当前用户需要对该文件有读、写权限。 当前用户需要对该文件的目录有执行权限。
Spark Python API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用
包年/包月是一种预付费模式，即先付费再使用，按照订单的购买周期进行结算，因此在购买之前，用户必须确保账户余额充足。按需计费是一种后付费模式，即先使用再付费，按照MRS集群实际使用时长计费。 关于两种计费模式的详细介绍请参见计费模式概述。 在购买MRS集群后，如果发现当前计费模式无法满足业务需求，您还可以变更计费模式。详细介绍请参见变更计费模式概述。
DataStream[T] 使用一个用户自定义的Partitioner对每一个元素选择目标task。 partitioner指的是用户自定义的分区类重写partition方法。 field指的是partitioner的输入参数。 keySelector指的是用户自定义的partitioner的输入参数。
创建HDFS多线程任务 功能简介 建立多线程任务，同时启动多个实例执行文件操作。 代码样例 如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 // 业务示例2：多线程 final int THREAD_COUNT
创建HDFS多线程任务 功能简介 建立多线程任务，同时启动多个实例执行文件操作。 代码样例 如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 // 业务示例2：多线程 final int THREAD_COUNT
如何取消MRS集群风险告警的消息通知？ 登录MRS服务控制台。 单击集群名称进入集群详情页面。 选择“告警管理 > 消息订阅规则”。 在待修改的规则所在行的“操作”列单击“编辑”，在“订阅规则”中取消对应风险告警。 单击“确定”完成修改。 父主题： 集群管理类
Spark Python API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用
topic) { super("KafkaConsumerExample", false); // 初始化consumer启动所需的配置参数，详见代码。 Properties props = initProperties(); consumer = new
进行交互来运行作业。 如果NodeManager连不上客户端所在的节点，就会报错： 处理步骤 在客户端的Spark配置中指定Driver的IP地址： “<客户端安装位置>/Spark/spark/conf/spark-defaults.conf”中添加参数“spark.driver
MRS服务暂不支持集群创建完成后手动开启和关闭Kerberos服务，如需更换Kerberos认证状态，建议重新创建MRS集群，然后进行数据迁移。 父主题： 用户认证及权限类
DBServer启动失败 问题背景与现象 DBService组件启动失败，重启还是失败，实例状态一直为正在恢复状态。 图1 DBService 的状态 原因分析 查看DBService的日志/var/log/Bigdata/dbservice/DB/gs_ctl-current.log，报如下错误。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
