检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka应用开发常见问题 Kafka常用API介绍 使用Kafka客户端SSL加密 配置Windows通过EIP访问集群Kafka 运行样例时提示Topic鉴权失败“TOPIC_AUTHORIZATION_FAILED” 运行Producer.java样例报错获取元数据失败“ERROR
目录,一个任务将另一个任务的数据移走,导致任务数据异常。 解决方法是修改业务逻辑,单线程插入数据到同一张表或同一个分区。 MRS 3.1.3及之后版本Hive支持对同一张表或分区进行并发写数据。 父主题: Hive常见问题
Spark shuffle异常处理 问题 在部分场景Spark shuffle阶段会有如下异常 解决方法 JDBC应该: 登录FusionInsight Manager管理界面,修改JDBCServer的参数“spark.authenticate.enableSaslEncryp
Spark2x常见问题 Spark Core SQL和DataFrame Spark Streaming 访问Spark应用获取的restful接口信息有误 为什么从Yarn Web UI页面无法跳转到Spark Web UI界面 HistoryServer缓存的应用被回收,导致此类应用页面访问时出错
Manager应用开发常见问题 Manager Java API接口介绍 运行Manager应用报错“authorize failed” 运行Manager应用报错“WARN No appenders could be found for logger” 运行Manager应用报错“illegal
Presto应用开发常见问题 Presto接口介绍 在集群外节点运行PrestoJDBCExample缺少证书 在集群外节点连接开启Kerberos认证的集群,HTTP在Kerberos数据库中无法找到相应的记录 父主题: Presto开发指南
SparkDriver) to the correct binding address. 解决方法 应用无法访问到SparkUI的IP:PORT。可能有以下原因: 可能原因一:集群节点与客户端节点网络不通。 解决方法: 查看客户端节点“/etc/hosts”文件中是否配置集群节点映射,在客户端节点执行命令:
DistCP作业导入导出数据常见问题 问:DistCP类型作业导入导出数据时,是否会对比数据的一致性? 答:DistCP类型作业导入导出数据时不会对比数据的一致性,只是对数据进行复制,不会修改数据。 问:DistCP类型作业在导出时,遇到OBS里已经存在的文件是如何处理的? 答:
访问页面失败,浏览器无法显示此页,如下图所示: 原因 IE 9、IE 10、IE 11浏览器的某些版本在处理SSL握手有问题导致访问失败。 解决方法 重新刷新页面即可。 父主题: HDFS常见问题
访问页面失败,浏览器无法显示此页,如下图所示: 原因 IE 9、IE 10、IE 11浏览器的某些版本在处理SSL握手有问题导致访问失败。 解决方法 重新刷新页面即可。 父主题: HDFS常见问题
MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 MapReduce二次开发远程调试 父主题: MapReduce开发指南(普通模式)
permission for operations: Read from hosts: * Topic设置acl,test无权限进行consumer操作。 解决方法参考2。 通过SSH登录Kafka Broker: 通过cd /var/log/Bigdata/kafka/broker命令进入日志目录。
问题现象 Spark作业运行查看日志有些WARN日志,作业运行很慢,Caused by显示:UnknownScannerExeception。 解决方法 运行Spark作业前,调整hbase.client.scanner.timeout.period参数(例如从60秒调高到120秒)。 登录Manage界面,选择“集群
MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 父主题: MapReduce开发指南
MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 MapReduce二次开发远程调试 父主题: MapReduce开发指南(普通模式)
MRS应用开发认证失败常见问题 现象描述 MRS样例工程调试运行过程发现认证失败。 处理流程 出现认证失败的原因很多,在不同场景中建议参考以下步骤来排查: 确认本应用所运行设备和集群网络上是否通畅,Kerberos认证所需的各类端口(TCP/UDP)是否可正常访问。 确认各个配置
MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 网络问题导致运行应用程序时出现异常 MapReduce二次开发远程调试 父主题: MapReduce开发指南(安全模式)
MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 网络问题导致运行应用程序时出现异常 MapReduce二次开发远程调试 父主题: MapReduce开发指南(安全模式)
原因 IE 9、IE 10、IE 11浏览器的某些版本在处理SSL握手有问题导致访问失败。 解决方法 推荐使用Google Chrome浏览器71及其以上版本。 父主题: Spark2x常见问题
消费Kafka Topic时报错“Not Authorized to access group XXX”如何处理? 该问题是由于集群的Ranger鉴权和集群自带的ACL鉴权冲突导致。Kafka集群使用自带的ACL进行权限访问控制,且集群的Kafka服务也开启Ranger鉴权控制时