检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi故障处理 写入更新数据时报错Parquet/Avro schema 写入更新数据时报错UnsupportedOperationException 写入更新数据时报错SchemaCompatabilityException Hudi在upsert时占用了临时文件夹中大量空间
Savepoints相关问题解决方案 用户必须为job中的所有算子均分配ID吗? 严格的说,用户只给有状态的算子分配IDs即可,因为在savepoint中仅包括有状态的算子的状态,没有状态的算子并不包含在savepoint中。 在实际应用中,强烈建议用户给所有的算子均分配ID,因
默认情况下,安全模式下的大数据集群用户只能访问本集群中的资源,无法在其他安全模式集群中进行身份认证并访问资源。 集群互信概念介绍 域 每个系统用户安全使用的范围定义为“域”,不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。 用户加密 配置跨Manag
HetuEngine跨源功能示意 HetuEngine跨域功能简介 HetuEngine提供统一标准SQL对分布于多个地域(或数据中心)的多种数据源实现高效访问,屏蔽数据在结构、存储及地域上的差异,实现数据与应用的解耦。 图3 HetuEngine跨域功能示意 父主题: HetuEngine
如何通过集群外的节点访问MRS集群? 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点,具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。
DistCP作业导入导出数据常见问题 问:DistCP类型作业导入导出数据时,是否会对比数据的一致性? 答:DistCP类型作业导入导出数据时不会对比数据的一致性,只是对数据进行复制,不会修改数据。 问:DistCP类型作业在导出时,遇到OBS里已经存在的文件是如何处理的? 答:
消费Kafka Topic时报错“Not Authorized to access group XXX”如何处理? 该问题是由于集群的Ranger鉴权和集群自带的ACL鉴权冲突导致。Kafka集群使用自带的ACL进行权限访问控制,且集群的Kafka服务也开启Ranger鉴权控制时
如何处理HetuEngine数据源丢失问题 问题 登录客户端查看HSConsole界面对接的数据源,数据源丢失。 回答 数据源丢失可能原因是DBservice主备倒换或数据库连接数使用率超过阈值造成,用户可以登录FusionInsight Manager页面查看告警信息,根据告警
如何解决Kafka topic无法删除的问题 问题 删除Kafka topic后发现未成功删除,如何正常删除? 回答 可能原因一:配置项“delete.topic.enable”未配置为“true”,只有配置为“true”才能执行真正删除。 可能原因二:“auto.create.topics
如何解决Kafka Topic无法删除的问题 问题 删除Kafka Topic后发现未成功删除,如何正常删除? 回答 可能原因一:配置项“delete.topic.enable”未配置为“true”,只有配置为“true”才能执行真正删除。 可能原因二:“auto.create.topics
执行balance常见问题定位方法 问题1:报没权限(Access denied)执行balance 问题详细:执行start-balancer.sh,“hadoop-root-balancer-主机名.out”日志显示“Access denied for user test1.
MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 MapReduce二次开发远程调试 父主题: MapReduce开发指南(普通模式)
确认没有在同一个进程中发起多次认证,即重复调用login()方法。 若还有问题,需联系技术支持人员做进一步分析。 认证失败样例 解决认证出现如下关键字:clock skew too great的问题 检查集群时间。 检查开发环境所在机器的时间,与集群时间的偏差应小于5分钟。
MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 网络问题导致运行应用程序时出现异常 MapReduce二次开发远程调试 父主题: MapReduce开发指南(安全模式)
MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 网络问题导致运行应用程序时出现异常 MapReduce二次开发远程调试 父主题: MapReduce开发指南(安全模式)
访问MRS组件Web UI界面常见异常问题 使用admin用户访问组件的WebUI界面报错或部分功能不可用 访问组件WebUI页面报500异常 【HBase WebUI】无法从HBase WebUI界面跳转到RegionServer WebUI 【HDFS WebUI】访问HDFS
Hive表的Location支持跨OBS和HDFS路径吗 问题 Hive表的location支持跨OBS和HDFS路径吗? 回答 Hive存储在OBS上的普通表,支持表location配置为hdfs路径。 同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。
添加HetuEngine数据源 使用HetuEngine跨源跨域访问数据源 添加Hive数据源 添加Hudi数据源 添加ClickHouse数据源 添加GAUSSDB数据源 添加HBase数据源 添加跨集群HetuEngine数据源 添加IoTDB数据源 添加MySQL数据源 父主题:
一般情况下,建议就近选择靠近您或者您的目标用户的区域,可以减少网络时延,提高访问速度。但在基础设施、BGP网络品质、资源的操作与配置等方面,同一个国家各个区域间区别不大,如果您或者您的目标用户在同一个国家,可以不用考虑不同区域造成的网络时延问题。 在除中国大陆以外的亚太地区的用户,可以选择“中国-香
Hive使用WHERE条件查询超过3.2万分区的表报错 问题: Hive创建超过3.2万分区的表,执行带有WHERE分区的条件查询时出现异常,且“metastore.log”中打印的异常信息包含以下信息: Caused by: java.io.IOException: Tried