检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS应用开发常见问题 常用API介绍 HDFS Shell命令介绍 配置Windows通过EIP访问安全模式集群HDFS 父主题: HDFS开发指南(安全模式)
amer_partition的Hudi表同步为Hive表,表名为table hive_sync_test3,使用unite、country和state为分区键,命令示例如下: run_hive_sync_tool.sh --partitioned-by unite,country
在本地Windows环境中查看Spark程序调试结果 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/D:/mavenlocal/org/apache/l
Core样例代码需要读取两个文件(user.keytab、krb5.conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。
Core样例代码需要读取两个文件(user.keytab、krb5.conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。
Kafka应用开发常见问题 Kafka常用API介绍 使用Kafka客户端SSL加密 配置Windows通过EIP访问安全模式集群Kafka 运行样例时提示Topic鉴权失败“TOPIC_AUTHORIZATION_FAILED” 运行Producer.java样例报错“ERROR
apreduce-examples-2.7.x.jar HDFS存储路径:以“/user”开头。Spark Script需要以“.sql”结尾,MapReduce和Spark需要以“.jar”结尾。sql、jar不区分大小写。 父主题: 使用Spark
jar,该jar包可在Kafka客户端目录下获取。 下面列出producer和consumer,以及Flink Stream SQL Join使用主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei.bigdata.flink
r2”的节点为Master2节点。 MRS Manager的主备管理节点默认安装在集群Master节点上。在主备模式下,由于Master1和Master2之间会切换,Master1节点不一定是MRS Manager的主管理节点,需要在Master1节点中执行命令,确认MRS Manager的主管理节点。命令请参考2
Spark Core 日志聚合下,如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中
如何查看哪个ZooKeeper实例是Leader 问题 如何查看ZooKeeper实例的角色是Leader还是Follower? 回答 登录集群Manager管理界面,选择“集群 > 服务 > ZooKeeper > 实例”。 单击相应的quorumpeer实例名称,进入对应实例的详情页面。
如何查看哪个ZooKeeper实例是Leader 问题 如何查看ZooKeeper实例的角色是Leader还是Follower? 回答 登录集群Manager管理界面,选择“集群 > 服务 > ZooKeeper > 实例”。 单击相应的quorumpeer实例名称,进入对应实例的详情页面。
oKeeper实现避免HBase单点故障问题的问题。 ZooKeeper和Kafka的配合关系 ZooKeeper与Kafka的关系如图 ZooKeeper和Kafka的关系所示。 图4 ZooKeeper和Kafka的关系 Broker端使用ZooKeeper用来注册broker信息,并进行partition
Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 父主题: Flink开发指南(安全模式)
准备Storm应用开发环境 Storm应用开发环境简介 准备Eclipse与JDK 准备Linux客户端环境 导入并配置Storm样例工程 父主题: Storm开发指南
memory-mb.ratio计算获取。 集群已开启Kerberos认证:-Djava.net.preferIPv4Stack=true -Djava.net.preferIPv6Addresses=false -Djava.security.krb5.conf=${BIGDATA
Zone”,在区域列表页面中单击,添加安全区。 表1 安全区配置参数 参数名称 描述 示例 Zone Name 配置安全区的名称。 test Zone Description 配置安全区的描述信息。 - Admin Users/Admin Usergroups 配置安全区的管理用户/用户组,可在安全区中添加及修改相关资源的权限策略。
Hive应用开发常见问题 Hive对外接口介绍 配置Windows通过EIP访问安全模式集群Hive 使用二次开发程序产生Unable to read HiveServer2异常如何处理 使用IBM JDK产生异常“Problem performing GSS wrap”如何处理
Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 Flink Jar作业提交SQL样例程序 FlinkServer REST API样例程序
Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 Flink Jar作业提交SQL样例程序 FlinkServer REST API样例程序