检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
点,并执行su - omm命令切换到omm用户。 执行如下命令登录数据库。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 gsql -p 20051 -d hivemeta -U username -W password
是否必填 默认值 输出分隔符 配置分隔符。 string 是 无 换行符 用户根据数据实际情况,填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 string 否 \n 输出字段 配置输出信息: 位置:配置输出字段的位置。 字段名:配置输出字段的字段名。 类型:配置字段类
请求。IP白名单通过配置项“hbase.replication.allowedIPs”配置。 在FusionInsight Manager系统中,选择“集群 > 服务 > HBase > 配置”,在搜索框中输入表1中的参数名称。 表1 参数说明 配置参数 说明 hbase.replication
请保持网络畅通,请勿随意拔插网线,避免因网络问题导致升级失败。 集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 安装补丁过程中会重启OMS,会导致MRS Manager页面无法访问,预计持续10-20分钟。 安装补丁过程中会影响弹性伸缩以及MRS
Name test 单击“+”按钮展开更多选项。 “WhiteList”:输入数据库中的表(如myclass) “Topic Table Mapping”:第一个框输入topic名(与4中作业名称“Name”的值不能一样,例如myclass_topic)。 第二个框输入表名(例如my
当前环境HBase已经是容灾集群,因为某些原因,需要将主备集群互换,即备集群变成主集群,主集群变成备集群。 本章节适用于MRS 3.x及之后版本。 对系统的影响 主备集群互换后,原先主集群将不能再写入数据,原先备集群将变成主集群,接管上层业务。 操作步骤 确保上层业务已经停止 确保上层业务已经停止,如果没有停止,先执行
开启Kerberos认证的MRS集群提交Flink作业报错 通过Hive beeline命令行执行插入命令的时候报错 MRS集群节点如何进行操作系统漏洞升级 使用CDM服务迁移数据至MRS HDFS时任务运行失败 MRS集群频繁产生节点间心跳中断告警 PMS进程占用内存高 Knox进程占用内存高
ILES_BY_DAYS时,该参数可以设置保留多少天以内的归档文件,默认值30(天)。 注意事项 归档文件,没有备份,删除之后无法恢复。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
这些临时文件: call clean_data(table => 'mytable', sql=>'delete cleanData') 系统响应 可在客户端中查看查询结果。 父主题: Hudi数据管理维护
略进行权限管理,具体操作可参考添加Kafka的Ranger访问权限策略。 操作步骤 登录FusionInsight Manager,选择“系统 > 权限 > 角色”。 单击“添加角色”,然后在“角色名称”和“描述”输入角色名字与描述。 在“配置资源权限”中,选择“待操作集群的名称
获取登录“Loader WebUI”的账户和密码。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
tab认证文件失败,最终导致作业未提交到launcher-job队列。 处理步骤 重置提交作业用户的密码。 登录Manager页面,选择“系统设置 > 用户管理”。在提交作业的IAM用户的操作列,选择“更多 > 初始化密码”,根据界面提示操作。初始化完成后需要使用该用户登录一次MRS
如何检查Yarn的ResourceManager配置是否正常? 如何修改Clickhouse服务的allow_drop_detached配置项? ClickHouse系统表日志过大时如何添加定期删除策略? 如何修改ClickHouse服务时区?
占用大量内存,安装TimelineServer的节点内存至少需要预留30GB。 该功能适用于MRS 3.2.0-LTS.1及之后版本。 对系统的影响 转换前,需要修改TimelineServer的服务端参数“TLS_FLOAT_IP”为一个可用的浮动IP(单实例时该配置默认使用节点业务IP)。
from productdb2.productSalesTable where c = 'aaa'; //可以发现该查询命令使用了索引表 系统响应 通过运行该命令,索引表会被注册到主表。 父主题: CarbonData语法参考
carbondata; INSERT INTO carbon02 select * from carbon01 where a > 1; 系统响应 可在driver日志中查看命令运行成功或失败。 父主题: CarbonData语法参考
经过定位发现,导致这个问题的原因是:Spark Streaming的计算核数少于Receiver的个数,导致部分Receiver启动以后,系统已经没有资源去运行计算任务,导致第一个任务一直在等待,后续任务一直在排队。从现象上看,就是如问题中的图1中所示,会有两个任务一直在等待。
Bigdata/audit/bk/”,同时备管理节点会同步保存一个相同的副本。 默认情况下,OMS备份的文件最大保留个数为90,该任务指导系统管理员配置此最大保留个数。 本章节操作仅支持MRS 3.x及之后的版本。 以omm用户登录主管理节点。 用户只需在主管理节点执行此操作,不
\$CONDITIONS" --hcatalog-database default --hcatalog-table test --num-mappers 1 父主题: 使用Sqoop
由于所有的命令都是发送到主HiveServer上去执行的,所以要求此文件在HiveServer节点上。 HiveServer进程是以操作系统上的omm用户启动的,所以要求omm用户对此文件有读权限,对此文件的目录有读、执行权限。 文件的owner需要为执行命令的用户。 当前用户需要对该文件有读、写权限。