检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置,从而能够更容易、更快地被访问。同时使得应用程序能够通过一个公共接口连接到许多存储系统。 Alluxio主要特点如下: 提供内存级I/O 吞吐率,同时
x版本不支持在管理控制台执行本章节操作,本章节仅适用于3.x之前的版本。 访问MRS Manager,详细操作请参见访问MRS集群Manager。 选择“系统设置 > 补丁管理”,进入补丁管理页面。 在“操作”列表中,单击“详情”。 在补丁详情界面,选中“Status”是“Isolated”的主机节点。
个Task。在有很多小文件时,Spark会启动很多Task,此时当SQL逻辑中存在Shuffle操作时,会大大增加hash分桶数,严重影响系统性能。 针对小文件很多的场景,DataSource在创建RDD时,先将Table中的split生成PartitionedFile,再将这些
产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 应用任务结束时间变长。 新应用提交后长时间无法运行。 可能原因 NodeManager节点资源过小。 队列最大资源容量设置过小。
--kerberos.domain.name hadoop.系统域名.com //10.96.101.32:21007表示kafka服务器的IP:port SSL加密配置 服务端配置。 登录FusionInsight Manager页面,选择“集群 > 服务 > Kafka > 配置”,参数类别设置为“全部配置”,搜索“ssl
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 导致TagSync响应缓慢。 可能原因 该节点
因时区转化的原因,此处时间有可能会与当地系统实际时间差异数个小时。比如在中国,此处的时间则会比当地时间晚8个小时。 如果需要统一同步配置为上海时间,操作如下: 在Manager页面,选择“集群 > 服务 > Oozie > 配置 > 全部配置”,修改oozie的服务配置参数“oozie.processing
Worker进程垃圾收集时间超出阈值(2.x及以前版本) 告警解释 系统每30s周期性采集Presto Worker进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警。用户可在MRS Manager中通过“系统设置 > 阈值配置 > 服务 > Presto > Worker
Hadoop shell命令 Hadoop基本shell命令,包括提交MapReduce作业,kill MapReduce作业,进行HDFS文件系统各项操作等。 MapReduce输入输出(InputFormat,OutputFormat) MapReduce框架根据用户指定的Inpu
在MRS管理控制台执行健康检查管理操作仅适用于MRS 1.9.2集群。 手动执行所有服务的健康检查: 选择“管理操作 > 启动集群健康检查”。 手动执行单个服务的健康检查: 单击“组件管理”,在服务列表中单击指定服务名称,选择“更多 > 启动服务健康检查”启动指定服务健康检查。 手动执行主机健康检查: 单击“节点管
Hive对接外部LDAP 本操作适用于MRS 3.1.0及之后版本。 登录Manager。 在Manager界面,选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置 > 全部配置 > HiveServer(角色) > 安全”。 配置如下参数的值。 表1 参数配置 参数名称 参数描述
如何修改HDFS的副本数? 进入HDFS服务配置页面: MRS 1.8.10及之前版本,登录MRS Manager页面,具体请参见访问MRS Manager,然后选择“服务管理 > HDFS > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 MRS 1.8.10之后及2
残留进程导致Regionsever启动失败 问题现象 HBase服务启动失败,健康检查报错。 原因分析 查看启动HBase服务时manager页面的详细打印信息,提示the previous process is not quit。 解决办法 登录节点,后台通过执行ps -ef |
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Kafka可用内存不足,会造成内存溢出导致Br
参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 导致Oozie调度任务响应变慢直至服务不可用。 可能原因 该节点Oo
添加ClickHouse角色 登录Manager,选择“系统 > 权限 > 角色”,在“角色”界面单击“添加角色”按钮,进入添加角色页面。 在添加角色界面输入“角色名称”,在配置资源权限处单击集群名称,进入服务列表页面,单击ClickHouse服务,进入ClickHouse权限资源页面。 根
绑定。 图3 绑定委托 创建OBS文件系统用于存放数据 大数据存算分离场景,请务必使用OBS并行文件系统(并行文件系统),使用普通对象桶会对集群性能产生较大影响。 登录OBS控制台。 选择“并行文件系统 > 创建并行文件系统”。 填写文件系统名称,例如“mrs-word001”。
tab认证文件失败,最终导致作业未提交到launcher-job队列。 处理步骤 重置提交作业用户的密码。 登录Manager页面,选择“系统设置 > 用户管理”。在提交作业的IAM用户的操作列,选择“更多 > 初始化密码”,根据界面提示操作。初始化完成后需要使用该用户登录一次MRS
ADD COLUMNS (a1 INT, b1 STRING) TBLPROPERTIES('DEFAULT.VALUE.a1'='10'); 系统响应 通过运行DESCRIBE命令,可显示新添加的列。 父主题: CarbonData语法参考
将列a1的精度从10更改为18。 ALTER TABLE test_db.carbon CHANGE a1 a1 DECIMAL(18,2); 系统响应 通过运行DESCRIBE命令,将显示被修改列变更后的数据类型。 父主题: CarbonData语法参考