检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解压keytab文件,使用WinSCP工具将解压得到的“user.keytab”文件上传到待操作节点的Hive客户端安装目录下,例如:“/opt/client”。
图1 示例 回答 在Spark SQL查询语句中,当查询条件中含有日期格式的字符串时,Spark SQL不会对它做日期格式的检查,就是把它当做普通的字符串进行匹配。以上面的例子为例,如果数据格式为"yyyy-mm-dd",那么字符串'2016-6-30'就是不正确的数据格式。
FlinkSQL Redis表开发建议 Sink表设置合适的批写参数 sink.batch.max-size:开启批写Redis并设置批写数量(正整数),单位:条。“-1”表示不开启批写Redis。
用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库,具体可参考配置华为开源镜像仓 操作步骤 在IntelliJ IDEA中,打开Maven工具窗口。 在IDEA主页面,选择“View->Tool Windows-> > Maven”打开“Maven”工具窗口。
配置HetuEngine维护实例 HetuEngine维护实例介绍 维护实例是承担自动化任务的一种特殊的计算实例,主要负责物化视图的自动刷新、自动创建和自动删除。 一个集群只能有一个计算实例被设置为维护实例,也可以同时承担计算实例的业务。
DROP SCHEMA 语法 DROP (DATABASE|SCHEMA) [IF EXISTS] databasename [RESTRICT|CASCADE] 描述 DATABASE和SCHEMA在概念上是等价可互换的。
回滚补丁后操作 回退HDFS上的组件包 不涉及。 回退客户端补丁 不涉及。 回退手动的操作 不涉及。 补丁卸载完成后重新打开弹性伸缩 如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。
所有超时时长的值请设置为统一值,避免时长设置不一致导致的页面实际生效的超时时长和设置值的冲突。 修改Manager页面及认证中心的超时时长。 MRS 3.x之前版本集群: 分别登录集群所有Master节点,在所有Master节点中执行如下2-4步骤的修改。
若集群中某些服务的配置状态为“失败”时,同步指定服务的配置数据与后台配置数据。 同步MRS集群组件配置参数对系统的影响 同步集群或服务配置后,需要重启配置过期的服务。重启时对应的服务不可用。 同步角色实例配置后,需要重启配置过期的角色实例。重启时对应的角色实例不可用。
安装MRS集群补丁 当您通过如下途径获知集群版本补丁信息,请根据您的实际需求进行集群补丁升级操作。 通过消息中心服务推送的消息获知MapReduce服务发布了补丁信息。 在管理控制台中的MRS集群详细页面内,选择“补丁管理 > 集群组件补丁”,查看可支持安装的补丁信息。
CDL同步任务名对应的Topic分区过多 现象描述 CDL任务启动后,在Kaka WebUI的“Topic List”列表中查看到该CDL任务的名称的“Partitions Num”值过大。
Hive 建立在Hadoop基础上的开源的数据仓库,提供类似SQL的Hive Query Language语言操作结构化数据存储服务和基本的数据分析服务。 ZooKeeper 提供分布式、高可用性的协调服务能力。帮助系统避免单点故障,从而建立可靠的应用程序。
创建对接LakeFormation权限的委托 登录华为云管理控制台,选择“统一身份认证服务 IAM”。 在左侧导航栏选择“委托”,单击右上角的“创建委托”,配置相关参数,单击“下一步”。
查找FE所有实例节点上元数据,找到最新的一个节点FE,作为恢复的Master。
创建对接LakeFormation权限的委托 登录华为云管理控制台,选择“统一身份认证服务 IAM”。 在左侧导航栏选择“委托”,单击右上角的“创建委托”,配置相关参数,单击“下一步”。
HDFS如下命令行查看: hdfs dfs -ls /user/developuser/examples/output-data/map-reduce 在Windows下面执行的时候可能会出现下面的异常,但是不影响业务: java.io.IOException: Could not
对于批量初始化后需要接Flink或Spark流作业实时写入的场景,一般建议通过对上有消息进行过滤,从一个指定的时间范围开始消费来控制数据的重复接入量(例如Spark初始化完成后,Flink消费Kafka时过滤掉2小时之前的数据),如果无法对kafka消息进行过滤,则可以考虑先实时接入生成
如果还需对OBS文件系统中的指定路径进行更加细粒度的权限控制,可参考配置MRS集群用户的OBS的细粒度访问权限创建自定义的角色策略。 登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。 选择“委托 > 创建委托”。
导出MRS集群配置参数 管理员可以将MRS集群中各组件的关键服务端配置参数导出,用于快速检查或者备份集群内组件配置。 前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
HDFS如下命令行查看: hdfs dfs -ls /user/developuser/examples/output-data/map-reduce 在Windows下面执行的时候可能会出现下面的异常,但是不影响业务: java.io.IOException: Could not