检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
remove_peer '备集群ID' 示例: remove_peer '1' 查询所有同步的table。 list_replicated_tables 分别disable上面查询到的所有同步的table。 disable_table_replication'表名' 示例: disa
不为NULL的值 select * from test_table where p1='b' 原因分析 在alter table时默认选项为RESTRICT,RESTRICT只会更改元数据,不会修改此操作之前创建的partition的表结构,而只会修改之后创建的新的partiti
timeout”对应的值即为超时时间时长,在“描述”列可查看默认值。 处理步骤 如果是内部表可以先通过alter table ${TableName} set TBLPROPERTIES('EXTERNAL'='true')来将内部表转成外部表,这样Hive删除的时候只删除元数据省去了删除HDFS数据的时间。
通常情况下,Hive以文本文件存储的表会以回车作为其行分隔符,即在查询过程中,以回车符作为一行表数据的结束符。但某些数据文件并不是以回车分隔的规则文本格式,而是以某些特殊符号分隔其规则文本。 MRS Hive支持指定不同的字符或字符组合作为Hive文本数据的行分隔符,即在创建表的时候,指定inpu
类别 参数名称 参数含义 定位信息 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 附加信息 详细信息 密码已过期的用户名称。 对系统的影响 用户密码过期,该用户将无法正常使用。 可能原因 用户密码已经过期。 处理步骤 修改用户密码。 登录FusionInsight
件,可能在读取数据的时候由于块找不到或者NameNode元数据中记录的数据块信息和DataNode中存储的真实副本不一致而失败。因此该特性不适用于写完数据即读的场景,请结合业务场景谨慎使用该特性。 该功能适用于MRS 3.2.0-LTS.1及之后版本。 操作步骤 登录FusionInsight
该任务指导用户通过Hue界面提交Hive2类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“HiveServer2 脚本”按钮,将其拖到操作区中。 在弹出的“HiveServer2 Script”窗口中配置HDFS上的脚本路径,例如“/user/a
删除所有同步集群。 remove_peer '备集群ID' 示例: remove_peer '1' 查询所有同步的表。 list_replicated_tables 分别disable7查询到的所有同步的表。 disable_table_replication'表名' 示例: disable_table_replication
由于最新的MRS集群使用的是Euler 2.9及以上版本的操作系统,系统自带只Python3版本,而Impala客户端是基于Python2实现的,和Python3部分语法不兼容,运行Impala客户端会报错,所以需要手动安装Python2以解决客户端运行问题。 处理步骤 使用ro
WebUI页面无法访问 现象描述 Hue服务组件的Hue WebUI页面打不开。 原因分析 端口未对外开放。 浮动IP配置错误。 一次性查询大量的数据,导致查询耗时长,占用了Hue中Hive的链接,导致Hue访问出现异常。 排查思路 在浏览器所在的本地机器,通过命令行执行telnet指令,查看端口是否开放。
该任务指导用户通过Hue界面提交Hive2类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“HiveServer2 脚本”按钮,将其拖到操作区中。 在弹出的“HiveServer2 Script”窗口中配置HDFS上的脚本路径,例如“/user/a
假定HBase的table1表存储用户当天消费的金额信息,table2表存储用户历史消费的金额信息。 现table1表有记录key=1,cf:cid=100,表示用户1在当天消费金额为100元。 table2表有记录key=1,cf:cid=1000,表示用户1的历史消息记录金额为1000元。
OBS对象存储是支持海量数据存储,并提供安全可靠的、低成本的分布式存储服务,ClickHouse基于OBS的优势构建冷热分离存储架构。ClickHouse实例所在的SSD云盘存放最近时间生成并且频繁访问的“热数据”,OBS存放较早时间生成且访问不频繁的“冷数据”,在建表的时候使用TTL实现数据根据特定时间策略进行冷热存储。
可选参数,为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 SparkSql作业常用的运行程序参数如表2所示,可根据执行程序及集群资源情况进行配置。 - 服务配置参数 可选参数,用于为本次执行的作业修改服务配置参数。 该参数的修改仅适
WebUI界面为MRS集群内的用户或用户组绑定LakeFormation角色,则绑定的用户或用户组拥有该角色的权限。 前提条件 已创建角色,并为该角色添加权限,具体操作请参考角色授权。 已完成MRS与LakeFormation实例的对接。 操作步骤 登录MRS管理控制台,选择“现有集群”,单击待操作的集群名称。
httpd-*/setup/restarthttpd.sh 检查备Master节点上的httpd.conf文件是否已修改,如果已修改则处理完成,如果未修改,参考上述步骤进行修改备Master节点的httpd.conf文件,无需重启httpd。 重新下载Excel即可打开。 父主题:
问题现象 MRS服务在集群的Master1和Master2节点上部署了manager-executor进程,该进程主要用于将管控面对集群的操作进行封装,比如作业的提交、心跳上报、部分告警信息上报、集群创扩缩等操作。当客户从MRS管控面提交作业,随着任务量的增大或者任务并发较高,有可
true:支持,目前仅支持Hive表的predicate下压。 false:不支持 true spark.sql.hive.filesourcePartitionFileCacheSize 启用内存中分区文件元数据的缓存大小。 所有表共享一个可以使用指定的num字节进行文件元数据的缓存。 只有当“spark
批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件,然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。 ImportTSV是一个HBase的表数据加载工具。 本章节适用于MRS 3.x及之后版本。
true:支持,目前仅支持Hive表的predicate下压。 false:不支持 true spark.sql.hive.filesourcePartitionFileCacheSize 启用内存中分区文件元数据的缓存大小。 所有表共享一个可以使用指定的num字节进行文件元数据的缓存。 只有当“spark