检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive表的Location支持跨OBS和HDFS路径吗 问题 Hive表的location支持跨OBS和HDFS路径吗? 回答 Hive存储在OBS上的普通表,支持表location配置为hdfs路径。 同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。 H
Hive表的Location支持跨OBS和HDFS路径吗 问题 Hive表的location支持跨OBS和HDFS路径吗? 回答 Hive存储在OBS上的普通表,支持表location配置为hdfs路径。 同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。 H
如果用户需要在统一的运维网管平台查看集群的告警、监控数据,管理员可以在FusionInsight Manager使用SNMP服务将相关数据上报到网管平台。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC,且Master节点可以访问对接服务器的IP地址和指定端口。
时也会监控这个文件,导致此文件被两个进程同时监控。当其中一个进程按照配置滚动的时候,删除了最早的日志文件,但是另一个进程依旧占用此文件句柄,从而产生了deleted状态的文件。 处理步骤 将Spark的executor日志输出目录修改成其他名称: 打开日志配置文件,默认在“<客户
预付费 按照订单的购买周期结算。 后付费 按照MRS集群实际使用时长计费。 - 计费周期 按订单的购买周期计费,最短时长为1个月,最长时长为1年。 秒级计费,按小时结算。 - 适用计费项 MRS服务管理费用、IaaS基础设施资源费用(弹性云服务器,云硬盘)。 MRS服务管理费用、Ia
e,导出kafka样例工程依赖的jar包,比如放到kafka-examples-lib目录。 在第一步指定的目录下生成一个Jar包和一个存放lib的文件夹。 将刚才生成的依赖库文件夹(此处为“kafka-examples-lib”)拷贝到MRS服务的某个Linux环境上任意目录下
主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要,规划备份的类型、周期和策略等规格,并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中,需要提前部署好NAS服务端。 HBase的“fs.d
“服务器共享路径”:填写用户配置的NAS服务器共享目录。(服务器共享路径不能设置为根目录,且共享路径的用户组和属组必须为nobody:nobody) “最大备份数”:填写备份目录中可保留的备份文件集数量。 “RemoteHDFS”:表示将备份文件保存在备集群的HDFS目录。 选择此参数值,还需要配置以下参数:
MRS集群节点类型说明 MRS集群由多个弹性云服务器节点组成,根据节点的不同规格,系统以节点组的方式进行管理,不同的节点组一般选用不同的云服务器规格。 根据节点上部署的组件角色的不同,集群内的节点类型可分为Master节点、Core节点、Task节点。 表1 集群节点分类 节点类型
配置ClickHouse对接OpenLDAP认证系统 ClickHouse支持和OpenLDAP进行对接,通过在ClickHouse上添加OpenLDAP服务器配置和创建用户,实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。 本章节操作仅支持MRS
ClickHouse使用OpenLDAP认证 ClickHouse支持和OpenLDAP进行对接,通过在ClickHouse上添加OpenLDAP服务器配置和创建用户,实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。 本章节操作仅支持MRS
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 系统本地最多只能保存50个转储文件,如果该故障持续存在于转储服务器,本地审计日志可能丢失。 可能原因 网络连接异常。 转储服务器的用户名、密码或转储目录等不满足配置条件。
* 购买时长 MRS服务管理针对不同类型、不同Region集群的单核价格不相同,具体计费请以MRS价格计算器中的价格为准。 弹性云服务器 计费因子:vCPU和内存,不同规格的实例类型提供不同的计算和存储能力。 包年/包月、按需计费 节点个数 * 弹性云服务器单价 * 购买时长 弹
”页面“flume.config.file”参数后的“下载文件”,可获取已有的服务端参数配置文件。然后选择“集群 > 服务 > Flume > 配置 > 导入”,将该文件导入后再修改非加密传输的相关配置项即可。 导入配置文件时,建议配置source/channel/sink的各自的个数都不要超过40个,否则可能导致界面响应时间过长。
模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写NAS服务器IP地址。 “服务器共享路径”:填写用户配置的NAS服务器共享目录。(服务器共享路径不能设置为根目录,且共享路径的用户组和属组必须为nobody:nobody)
参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 系统本地最多只能保存50个转储文件,如果该故障持续存在于转储服务器,会导致本地历史审计日志丢失,查询超过当前时间点的前50条审计日志时无法查询。
“NFS”:表示将备份文件通过NFS协议保存在NAS中。 选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写NAS服务器IP地址。 “服务器共享路径”:填写用户配置的NAS服务器共享目录。(服
“NFS”:表示将备份文件通过NFS协议保存在NAS中。 选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写NAS服务器IP地址。 “服务器共享路径”:填写用户配置的NAS服务器共享目录。(服务
JobManager的标准。 /jobmanager/metrics JobManager的指标。 /:* 对Web前端的静态文件(如HTML,CSS或JS文件)的请求。 表1中变量的介绍请参见表2。 表2 变量说明 变量 说明 jobid job的id vertexid 流图的顶点id subtasknum
“服务器共享路径”:填写用户配置的NAS服务器共享目录。(服务器共享路径不能设置为根目录,且共享路径的用户组和属组必须为nobody:nobody) “最大备份数”:填写备份目录中可保留的备份文件集数量。 “CIFS”:表示将备份文件通过CIFS协议保存在NAS中。 选择此参数值,还需要配置以下参数: