检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
max_memory_usage_for_all_queries 单台服务器上所有查询的内存使用量,默认没有限制。建议根据机器的总内存,预留一部分空间,防止内存不够导致服务或者机器异常。 0 机器总内存的80% 否 max_memory_usage 单个查询在单台服务器的能使用的最大内存。 10G 50GB 否(新版本可通过多租户方式配置)
/opt/hadoopclient 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,修改kadmin/admin密码。此操作对所有服务器生效。如果密码丢失将不可找回,请妥善保管。 kpasswd kadmin/admin 输入用户密码后(默认密码为Admin@123),设置新密码。新密码的默认复杂度要求:
登录MRS管理控制台。 在集群详情页面,选择“节点管理”。 单击待更换磁盘的“节点名称”进入弹性云服务器管理控制台,单击“关机”。 联系华为云支持人员在后台更换磁盘。 在弹性云服务器管理控制台,单击“开机”,将已更换磁盘的节点开机。 执行fdisk -l命令,查看新增磁盘。 使用cat
id String 参数解释: 虚拟机ID。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 name String 参数解释: 虚拟机名称。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 ip String 参数解释: 虚拟机IP地址。 约束限制: 不涉及
ive等组成。 角色 角色是服务的组成要素,每个服务由一个或多个角色组成。服务通过角色安装到主机(即服务器)上,保证服务正常运行。 集群 将多个服务器集中起来使它们能够像一台服务器一样提供服务的计算机技术。采用集群通常是为了提高系统的稳定性、可靠性、数据处理能力或服务能力。例如,
out)文件排查。 如下异常: Error: Could not find or load main class Xmx2048M 说明java虚拟机启动时,将Xmx2048M作为java进程的启动参数而不是JVM的启动参数了,如下将符号‘-’误删掉。 METASTORE_GC_OPTS=Xms1024M
统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 设置“委托名称”。例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器 BMS”,授权ECS或BMS调用OBS服务。 图2 创建委托 “持续时间”选择“永久”并单击“完成”。
统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 设置“委托名称”,“委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器BMS”,授权ECS或BMS调用OBS服务。 “持续时间”选择“永久”并单击“下一步”。 图4 创建委托 在弹出授权页面的搜索框内,搜索“OBS
ka等能够利用多磁盘能力的组件上尤其重要。并且LVM可以支持磁盘扩容时不需要重新挂载,避免了业务中断。 数据可靠性 MRS可以利用弹性云服务器ECS提供的反亲和节点组能力,结合Hadoop的机架感知能力,将数据冗余到多个物理宿主机上,避免物理硬件的失效造成数据的失效。 父主题: 产品功能
false:不查询节点详情 默认取值: false query_ecs_detail 否 Boolean 参数解释: 是否查询ECS详情信息,会涉及对ECS接口调用。 约束限制: 不涉及 取值范围: true:查询ECS详情信息 false:不查询ECS详情信息 默认取值: false internal_ip
Map函数生成的列表,然后根据它们的键缩小键/值对列表。MapReduce起到了将大事务分散到不同设备处理的能力,这样原来必须用单台较强服务器才能运行的任务,在分布式环境下也能完成。 更多信息,请参阅MapReduce教程。 MapReduce结构 MapReduce通过实现YA
Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)公告 漏洞描述 近日,华为云关注到Apache Log4j2存在一处远程代码执行漏洞(CVE-2021-44228),在引入Apache Log4j2处理日志时,会对用户输入的内容进行一些特殊的处理,攻击
”,其中“HostName”为故障告警的节点,“PartitionName”为故障磁盘的分区。 联系硬件工程师确认为磁盘硬件故障之后,将服务器上故障磁盘在线拔出。 拔出磁盘后系统会上报“ALM-12014 分区丢失”告警,参考ALM-12014 设备分区丢失(2.x及以前版本)进
append”参数值设置为true。 “dfs.support.append”参数在开源社区版本中默认值是关闭,在FusionInsight版本默认值是开启。 该参数为服务器端参数。建议开启,开启后才能使用Append功能。 不适用HDFS场景可以考虑使用其他方式来存储数据,如HBase。 HDFS不适用于存储大量小文件
版本说明 MRS 3.1.2-LTS.3版本说明 MRS 3.1.5版本说明 MRS 3.2.0-LTS.1版本说明 父主题: 发行版本
从“定位信息”中获取“主机名”和“设备分区名”,其中“主机名”为故障告警的节点,“设备分区名”为故障磁盘的分区。 联系硬件工程师确认为磁盘硬件故障之后,将服务器上故障磁盘在线拔出。 拔出磁盘后系统会上报“ALM-12014 分区丢失”告警,参考ALM-12014 设备分区丢失进行处理,处理完成后,本告警即可自动消除。
具体界面显示以实际为准。 Kerberos认证 开启 委托 勾选“高级配置”后的“现在配置”,“委托”选择“现有委托”,并选择创建对接ECS/BMS云服务委托创建的委托。 例如,配置如下图所示,不同版本集群可能存在差异,具体界面显示以实际为准。 等待集群创建完成后,在“现有集群
具体界面显示以实际为准。 Kerberos认证 开启 委托 勾选“高级配置”后的“现在配置”,“委托”选择“现有委托”,并选择创建对接ECS/BMS云服务委托创建的委托。 例如,配置如下图所示,不同版本集群可能存在差异,具体界面显示以实际为准。 等待集群创建完成后,在“现有集群
Notebook 步骤4:验证Jupyter Notebook访问MRS 步骤1:在MRS集群外节点安装客户端 准备一台不属于MRS集群的Linux弹性云服务器,绑定一个弹性IP,参考集群外节点安装客户端章节安装集群客户端,例如安装目录为“/opt/client”。 确认MRS集群是否开启了Kerberos认证。
完成更新后查询内核版本,并执行rpm -e 旧内核版本命令删除旧内核版本。 在集群详情页,选择“节点管理”。 在Core节点组中单击已更新补丁的Core名称,进入弹性云服务器管理控制台。 在页面右上角单击“重启”,重启Core节点。 重启完成后,在集群详情页的“节点管理”的Core节点组中勾选Core节点,单击“节点操作