检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
executor。 为了优化并行数据处理及并行读取块数据,运用动态分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min(或平均查询时间)。 正确配置参数“spark.dynamicAllocation
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
eries指标,当检测到资源组排队数大于阈值时产生该告警。用户可通过"组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”) >Presto > resource-groups " 配置资源组。用户可通过"组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”)
周边云服务对接 MRS对接LakeFormation云服务 使用MRS Spark SQL访问DWS表 使用MRS Hive表对接OBS文件系统 MRS Hive对接CSS服务配置说明
使用DBeaver访问Phoenix 本实践介绍如何使用DBeaver访问Phoenix。 本地安装的DBeaver可通过Phoenix Jar包对接MRS集群HBase组件。对接成功后,可在DBeaver中创建HBase表并插入数据。 使用DBeaver访问HetuEngine
Manager与本集群HDFS保存的快照信息,创建本地快速恢复任务并执行恢复任务。 该章节仅适用于MRS 3.x及之后版本。 恢复组件业务数据 登录FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。 在备份任务列表已创建任务的“操作”列,单击“恢复”。
附录 修改集群服务配置参数 访问集群Manager 使用MRS客户端
用户名过长导致下载认证凭据失败 用户问题 MRS 3.0.2~MRS 3.1.0版本集群,当用户名超过20位时(添加用户时最长限制为32位),下载Keytab文件会下载失败,状态代码:400 Bad Request。 问题现象 MRS 3.0.2~MRS 3.1.0版本集群,当用
单击“Attempt ID”列的ID 图4 单击“Logs” 使用具有当前Flink作业的管理操作权限的用户登录Manager,选择“集群 > 服务 > Flink”,单击“Flink WebUI”后的链接,单击“作业管理”,在作业的“操作”列选择“更多 > 作业详情”也可查看Taskmanager日志。
"hdfsSetReplication- SUCCESS!, Set replication 10 for %s\n",file); 设置用户、用户组。 if (hdfsChown(fs, file, "root", "root")) { fprintf(stderr, "Failed
HBASE_OPTS 该变量中设置的参数,将影响HBase的所有角色。 SERVER_GC_OPTS 该变量中设置的参数,将影响HBase Server端的所有角色,例如:Master、RegionServer等。 CLIENT_GC_OPTS 该变量中设置的参数,将影响HBase的Client进程。
本章节介绍如何克隆作业列表中的作业。 用户每次只能克隆1个作业,单击克隆后的作业信息不再区分显示运行程序参数和执行程序参数,而是合并显示为命令参考。 DistCp、SQL类(SparkSQL、HiveSQL等)作业类型无法克隆。 该功能暂时仅在北京四region开放,如需体验,请联系运维人员。 登录MRS管理控制台。
archive.files.minimum”设置值时日志文件才会被归档。周期设置为“0”或“-1”时归档功能禁用。 -1 yarn.log-aggregation.retain-seconds 设置Mapreduce任务日志在HDFS上的保留时间。设置为“-1”时日志文件永久保存。 1296000
Ranger常见问题 如何判断某个服务是否使用了Ranger鉴权 为什么新创建用户修改完密码后无法登录Ranger 在Ranger管理界面查看不到创建的MRS用户 MRS用户无法同步至Ranger管理界面 父主题: 使用Ranger
单击“Attempt ID”列的ID 图4 单击“Logs” 使用具有FlinkServer管理操作权限的用户登录Manager,选择“集群 > 服务 > Flink”,单击“Flink WebUI”后的链接,单击“作业管理”,在作业的“操作”列选择“更多 > 作业详情”也可查看Taskmanager日志。
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 更新管理 安全加固 MRS集群保留JDK说明
修复Manager Controller 前提条件 已获取FusionInsight Manager登录地址及admin账号。 操作步骤 使用omm用户登录到主OMS节点,备份$CONTROLLER_HOME/sbin/controller.sh文件。 cp $CONTROLLE
务强制终止。 设置为true时,进行虚拟内存检测; 设置为false时,不进行虚拟内存检测。 true yarn.nodemanager.pmem-check-enabled 是否进行物理内存检测的开关。如果任务使用的内存量超出分配值,则直接将任务强制终止。 设置为true时,进行物理内存检测;
"hdfsSetReplication- SUCCESS!, Set replication 10 for %s\n",file); 设置用户、用户组。 if (hdfsChown(fs, file, "root", "root")) { fprintf(stderr, "Failed
央库或者其他用户自定义的仓库地址下载。 本地环境使用开发工具下载依赖的jar包前,需要确认以下信息。 确认本地环境网络正常。 打开浏览器访问:华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),查看网站是否能正常访问。如果访问异常,请先开通本地网络。