检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
blacklist功能。 在新的Blacklisting DFSClient failover provider中,故障的NameNode将被记录至一个列表中。DFSClient会利用这些信息,防止客户端再次连接这些NameNode。该功能被称为NameNode blacklisting。 例如,如下集群配置:
单击,按照界面提示填写参数。 图1 创建实例组 表1 实例组配置参数 参数名 说明 组名称 实例组名称只能包含字母、数字、下划线(_)、中划线(-)和空格,仅以字母、数字、下划线(_)或中划线(-)开头,只能在中间包含空格,并且不能超过99个字符。 角色 表示实例组包含哪个角色的实例。 复制源
出现此告警时,说明当前Doris实例设置的堆内存无法满足当前数据传输所需的堆内存,建议打开实例监控界面,在页面上查看“Doris堆内存资源状况”监控图表,观察该监控图表中“Doris使用的堆内存大小”的变化趋势,根据当前堆内存使用的大小,调整“-Xmx”的值为当前堆内存使用量的两倍(或根据实际情况进行调整)。
在Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”。在搜索框中输入参数名称。 表1 参数介绍 参数 描述 默认值 spark.sql.shuffle.partitions SparkSQL在进行shuffle操作时默认的分块数。
选中该证书拖动到电脑桌面,即可获得证书。 在Mac应用中选择钥匙串访问。 “钥匙串”选择“登录”,“种类”选择“证书”。 将步骤3获得的证书拖动到钥匙串列表中。 双击证书将该证书设置为“始终信任”并关闭弹窗。 在出现的确认框中输入登录密码,此时在Chrome中即可访问MRS Manager。 父主题:
WebUI,请参考访问Hue WebUI界面。 在界面左侧导航栏选择“ > Workflow”,打开Workflow编辑器。 单击“文档”, 在操作列表中选择Hive脚本,将其拖到操作界面中。 在弹出的“HiveServer2 Script”框中, 选择之前保存的Hive脚本,关于保存Hiv
99.3/loader-tool/job-config/sftp-to-hdfs.xml -a create 如无报错信息,且显示如下信息,则表示创建连接器的任务提交成功。 User login success. begin to execute task. 执行以下命令,使用lt-ucj工具创建作业。
在首页中单击“CDL”区域的组件插件名称,例如“CDL”。 单击“Add New Policy”,添加CDL权限控制策略。 根据业务需求配置相关参数。 表1 CDL权限参数 参数名称 描述 Policy Type Access。 Policy Conditions IP过滤策略,可自定义,配置
ClickHouse应用开发流程介绍 开发流程中各阶段的说明如图1所示。 图1 ClickHouse应用程序开发流程 表1 ClickHouse应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解ClickHouse的基本概念。 基本概念 准备开发和运行环境
ver服务。 配置描述 登录Manager,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索并修改以下参数。 表1 多主实例参数说明 参数 说明 默认值 spark.thriftserver.zookeeper.connection.timeout Z
HiveQL语言 Hive Query Language,类SQL语句。 HCatalog HCatalog是建立在Hive元数据之上的一个表信息管理层,吸收了Hive的DDL命令。为MapReduce提供读写接口,提供Hive命令行接口来进行数据定义和元数据查询。基于Hive的H
全部配置”,进入HBase全部配置界面。 在搜索框中搜索并修改以下参数,开启CCSMap特性: hbase.regionserver.memstore.class:表示Memstore的实现类,需修改该参数值为“org.apache.hadoop.hbase.regionserver.CCSMapMemStore”。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 NameNode无法及时处理来自HDFS客户端、依赖于HDFS的上层服务、DataNode等的RPC请求,表现为访问HDFS服务的业务运行缓慢,严重时会导致HDFS服务不可用。 可能原因 NameNode节点的CPU性能不足,导致NameNode无法及时处理消息。
使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。
注册成功后,系统会自动跳转至您的个人信息界面。 个人或企业账号实名认证请参考:实名认证。 MRS服务授权操作 使用具有IAM委托操作权限的用户登录管理控制台。 在服务列表中选择“大数据 > MapReduce服务”,进入“服务授权”页面。 图1 服务授权 单击“变更权限委托”,在右侧单击,启用委托或权限策略。
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”,选择上报告警实例主机名对应的角色 。单击图表区域右上角的下拉菜单,选择“定制 > 进程 > Broker垃圾回收(GC)时间”,单击“确定”。 图1 Broker垃圾回收(GC)时间
> 告警”,在告警列表中展开此告警的详细信息,在定位信息中单击产生该告警的主机名称。 在主机的概览界面观察“每个写操作平均所需时间”的实时数据5分钟左右,若磁盘IO利用率多次超过设置的阈值,请联系MRS集群管理员提升磁盘配置。 如果无“每个写操作平均所需时间”图表,可单击右侧下拉三
若告警原因为:Spark2x assembly包异常,则表示Spark的包存在异常,等待10分钟左右,告警自动恢复。 检查Spark2x依赖的服务是否有服务不可用告警。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”。 在告警列表中,查看是否存在以下告警: ALM-25500
当集群写入压力较大,不建议修改此配置。需要给常规Merge留出空闲线程,避免“Too manyparts parts”。 对于已存在的大表(数据量超亿级别),不要使用修改或新设置TTL的方式来实现数据老化能力,推荐使用定时任务“alter table table_name on
年份,数字,4位,第一天为星期日 %x 年份,数字,4位,第一天为星期一 %Y 年份,数字,4位 %y 年份,数字,2位,表示年份范围为[1970, 2069] %% 表示字符'%' 示例: select date_format(timestamp '2020-07-25 15:04:00