检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行Yarn客户端命令查询历史作业报错,进程被终止。具体错误如下: 原因分析 客户端分配内存不足,导致提交命令报错。 处理步骤 以root用户登录HDFS客户端安装节点。 执行以下命令编辑文件。 vim /opt/client/HDFS/component_env 调大参数“ export
如果用户安装安全模式需要使用kerberos认证和security cookie认证。 表1 安全认证方式 安全认证方式 配置方法 Kerberos认证(当前只支持keytab认证方式) 从FusionInsight Manager上下载准备集群认证用户信息创建的用户keyt
配置MRS集群通过Guardian对接OBS 配置Guardian服务对接OBS MRS集群服务对接OBS示例 父主题: 配置MRS集群存算分离
静态服务资源概述 静态服务资源简介 集群分配给各个服务的资源是静态服务资源,这些服务包括Flume、HBase、HDFS、IoTDB、Kafka(Kafka组件仅MRS 3.2.0及之后版本支持静态服务池)和Yarn。每个服务的计算资源总量固定,不与其他服务共享,是静态的。租户通
配置受信任IP地址访问LDAP 加密HFile和WAL内容 配置HBase只读模式集群允许修改数据的IP白名单 配置LDAP输出审计日志 更新MRS集群加密密钥 更新MRS集群节点omm用户ssh密钥 修改MRS集群组件鉴权配置开关 配置MRS集群外节点用户访问普通模式集群资源 修改Manager页面超时时间
于LRU算法管理分片数据的生命周期。 MemArtsCC主要特点 去中心化架构,所有实例提供对等服务能力。 轻量化设计,极低的资源占用率。 应用解耦,业务无需感知无需适配即可使用。 高可用,单实例级别异常不影响集群可用性。 MemArtsCC结构 MemArtsCC由CCSideCar和CCWorker两个角色组成。
图1 配置用户创建topic的权限 用户使用Linux命令行创建topic,执行命令前需要使用kinit命令进行人机认证,如:kinit flinkuser。 flinkuser需要用户自己创建,并拥有创建Kafka的topic权限。具体操作请参考准备MRS应用开发用户章节。 创建topic的命令格式:
选择“系统 > 权限 > 用户组 > 添加用户组”,设置“组名”,单击“角色”后的“添加”,在弹出的界面选择2创建的角色,单击“确定”将该角色添加到组中,单击“确定”完成用户组的创建。 选择“系统 > 权限 > 用户 > 添加用户”: “用户名”填写待添加的用户名。 “用户类型”设置为“人机”。
步骤3:创建并运行Flink作业 方式1:在控制台界面在线提交作业。 登录MRS管理控制台,单击MRS集群名称,进入集群详情页面。 在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 单击“作业管理”,进入“作业管理”页签。 单击“添加”,添加一个Flink作业。
如何配置MRS集群knox内存? 以root用户登录集群Master节点。 在Master节点执行如下命令打开gateway.sh文件。 su omm vim /opt/knox/bin/gateway.sh 将“APP_MEM_OPTS=""” 修改为 “APP_MEM_OPTS="-Xms256m
HiveServer节点上。 HiveServer进程是以操作系统上的omm用户启动的,所以要求omm用户对此文件有读权限,对此文件的目录有读、执行权限。 文件的owner需要为执行命令的用户。 当前用户需要对该文件有读、写权限。 要求文件的格式与表指定的存储格式相同。如创建表时指定stored
升级规格:升级Master节点的实例规格,请参见升级Master节点规格。 弹性伸缩:根据业务数据量的变化动态调整集群节点数量以增减资源,请参见配置弹性伸缩规则。 在创建集群时,Task节点只配置了弹性伸缩的取值范围,而没有配置实例数量时,当前不会产生实际费用。如果客户配置了实例数量,则产品报价
及监控指标。 MRS Manager界面操作:登录MRS Manager,依次选择“服务管理 > Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。 FusionInsight Manager界面操作:登录FusionInsight Manager,选择“集群
单击“保存”保存配置,并在“集群 > 服务 > Spark2x > 概览”页签右上角,选择“更多> 滚动重启服务”。 登录Spark2x原生页面即可单击stdout或者stderr访问到executor日志页面。 不修改配置项查看日志处理步骤 查看运行完成任务日志 在Spark2x原生页面最
程为: 加载HDFS服务配置文件,并进行kerberos安全认证。 认证通过后,实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件,请提前准备。 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hdfs-examp
数据比对关联的数据同步任务中的数据库用户需要对当前Schema具有create function权限。 操作步骤 使用已创建的用户或admin用户(未开启Kerberos认证的集群)登录CDLService WebUI界面,请参考登录CDLService WebUI界面。 选择“作业管理
问: MRS集群中的弹性伸缩功能如何收费? 答: 在创建集群时,Task节点只配置了弹性伸缩的取值范围,而没有配置实例数量时,产品报价不会产生收费。如果客户配置了实例数量,产品报价会在浏览器下方即时显示出来。 如果在集群使用时,配置的弹性伸缩功能新增了节点,则包年/包月集群和按需
s-1.0.jar之前,请确保已经进行kerberos安全登录,并且keytab方式下,登录用户和所上传keytab所属用户必须是同一个用户。 安全模式下,kafka需要用户有相应Topic的访问权限,因此首先需要给用户赋权,再提交拓扑。 拓扑提交成功后,可以向Kafka中发送数据,观察是否有相关信息生成。
source /opt/client/bigdata_env 认证集群用户(未启用kerberos的集群可跳过此步骤)。 人机用户:kinit kerberos用户 机机用户: kinit -kt 认证文件路径 kerberos用户 运行opentsdb样例程序。 java -cp /opt
Catalog是内置的默认Catalog,用户不可修改或删除。 External Catalog 可以通过CREATE CATALOG命令创建一个External Catalog,创建后,可以通过SHOW CATALOGS命令查看已创建的Catalog。 切换Catalog 用户登录Doris后,默认进入Internal