检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse与其他组件的关系 ClickHouse安装部署依赖ZooKeeper服务。 ClickHouse通过Flink流计算应用加工生成通用的报表数据(明细宽表),准实时写入到ClickHouse,通过Hive/Spark作业加工生成通用的报表数据(明细宽表),批量导入到ClickHouse。
MRS 3.2.0-LTS.1.10补丁说明 安装补丁前必读 安装补丁前准备 安装补丁 补丁安装后操作 回滚补丁 补丁基本信息说明 父主题: MRS集群补丁说明
53),星期天是一周的第一天,与%X配合使用 %v 星期(01 .. 53), 第一条为星期一,与%X配合使用 %W 周几(Sunday .. Saturday) %w 本周的第几天(0 .. 6),星期天是一周的第一天 %X 年份,数字,4位,第一天为星期日 %x 年份,数字,4位,第一天为星期一
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS数据读操作接口调用成功率小于阈值,会影响上层大数据计算业务的正常执行,导致某些计算任务的执行失败。 可能原因
id低32位超过设定阈值,则上报告警。 当系统检测到zxid低32位低于设定阈值时,告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 45449 重要 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名
MRS服务集群开启了Kerberos认证,没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager,在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”。 填写角色的名称,例如mrrole。 编辑角色,在“权限”的表格中选择“Yarn > Scheduler
录凭证和授权tokens,避免认证过期。 例如: spark-shell --principal spark2x/hadoop.<系统域名>@<系统域名> --keytab ${BIGDATA_HOME}/FusionInsight_Spark2x_XXX/install/Fus
上传数据至OBS。 登录OBS控制台。 单击“并行文件系统 > 创建并行文件系统”,创建一个名称为sparksql的文件系统。 sparksql仅为示例,文件系统名称必须全局唯一,否则会创建并行文件系统失败。 单击sparksql文件系统名称,并选择“文件”。 单击“新建文件夹”,创建input文件夹。
Manager。 选择“系统管理 > 用户管理”。 在使用的用户所在行的单击“修改”。 为用户添加supergroup组。 单击“确定”完成修改操作。 FusionInsight Manager界面操作: 登录FusionInsight Manager。 选择“系统 > 权限 > 用户”。
'java.security.auth.login.config' is not set 回答 当试图从启用SSL的kafka数据源采集数据时,而安装程序无法读取jars.conf文件及其属性时,可能会发生这种情况。 要解决此问题,需要将所需的属性作为通过Spark提交的命令的一部分传递。如:--files
Hive、Spark、HBase、Loader、HetuEngine等服务提供访问OBS的临时认证凭据的服务,只有对接OBS的场景下才需要安装Guardian组件。Guardian的典型特性包括: 提供获取访问OBS的临时认证凭据的能力。 提供访问OBS的细粒度权限控制的能力。
'java.security.auth.login.config' is not set 回答 当试图从启用SSL的kafka数据源采集数据时,而安装程序无法读取jars.conf文件及其属性时,可能会发生这种情况。 要解决此问题,需要将所需的属性作为通过Spark提交的命令的一部分传递。如:--files
JobHistory进程堆内存使用超出阈值”并且按照指导处理以后,运行一段时间又会出现同样的告警。 原因分析 可能存在JobHistory内存泄露问题,需要安装相应的补丁修复。 处理步骤 适当调大JobHistory进程堆内存。 如果已经调大堆内存,可以通过重启JobHistory实例规避。 父主题:
productNameIndexTable ON productdb.productSalesTable; 系统响应 二级索引表将被删除,索引信息将在CarbonData表中被清除,删除成功的消息将记录在系统日志中。 父主题: DML
设置文件权限等,其他操作可以在掌握本代码样例之后,再扩展学习。 本代码样例讲解顺序为: 文件系统初始化 写文件 读文件 开发思路 调用FileSystem中的create接口获取文件系统客户端 调用FileSystem中的crteateFile接口创建文件 调用FileOutStream中的wirte接口写文件
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 大量应用任务运行失败。 运行失败的任务需要重新提交。 可能原因 任务出于某种错误运行失败。 处理步骤 检查告警详情。
productNameIndexTable ON productdb.productSalesTable; 系统响应 二级索引表将被删除,索引信息将在CarbonData表中被清除,删除成功的消息将记录在系统日志中。 父主题: CarbonData语法参考
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 RegionServer RPC响应时间的P99超过阈值,会影响RegionServer对外提供服务的能力。
指导运维工程师停止、启动Flume客户端,以及在不需要Flume数据采集通道时,卸载Flume客户端。 操作步骤 停止Flume角色的客户端。 假设Flume客户端安装路径为“/opt/FlumeClient”,执行以下命令,停止Flume客户端: cd /opt/FlumeClient/fusionin
用户需要使用图形化界面在集群中执行HetuEngine语句时,可以通过Hue完成任务。 本章节适用于MRS 3.3.0及之后版本。 前提条件 需要MRS集群已安装HetuEngine组件并添加HSFabric实例。HSFabric实例的新增,删除,迁移和端口的修改,都需要重启Hue服务。 已在集群中