检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调测ClickHouse应用 在本地Windows环境中调测ClickHouse应用(MRS 3.3.0之前版本) 在本地Windows环境中调测ClickHouse应用(MRS 3.3.0及之后版本) 在Linux环境中调测ClickHouse应用(MRS 3.3.0之前版本)
调测IoTDB应用 在本地Windows环境中调测IoTDB应用 在Linux环境中调测JDBC或Session应用 在Flink WebUI和Linux环境中调测Flink应用 在Linux环境中调测Kafka应用 在IoTDBServer节点调测UDF应用 父主题: IoTDB开发指南(安全模式)
创建HDFS目录 功能简介 创建目录过程为: 调用FileSystem实例的exists方法查看该目录是否存在。 如果存在,则直接返回。 如果不存在,则调用FileSystem实例的mkdirs方法创建该目录。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei
Flume向Spark Streaming提交作业后报类找不到错误 用户问题 Flume向Spark Streaming提交作业,提交到集群后报类找不到的错误。 问题现象 Spark Streaming代码打成jar包提交到集群后报类找不到错误,通过以下两种方式依然不生效。 在提交Spark作业的时候使用--jars
Hive表中增加分区列后再插入数据显示为NULL 问题现象 执行如下命令创建表 create table test_table( col1 string, col2 string ) PARTITIONED BY(p1 string) STORED AS orc tblproperties('orc
了200,需要调大连接HiveServer实例的最大连接数。 解决办法 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”
MRS Hive连接ZooKeeper时报错“ConnectionLoss for hiveserver2” 问题现象 使用MRS 1.8集群的Hive 1.2.1通过Hive的JDBC接口连接MRS集群成功,但是使用MRS 1.9.0集群的Hive 2.3.2,通过Hive的J
MRS集群内节点的登录方式如何切换? 问: MRS集群内节点的登录方式(密码或密钥对)如何切换? 答: 不可以切换。创建集群时选择了节点登录方式后不能更改登录方式。 父主题: 集群管理类
如何给集群内用户添加租户管理权限? 分析集群和混合集群支持添加租户管理权限,流式集群不支持添加租户管理权限。给新建账号添加租户管理权限方法如下: MRS 3.x之前版本: 登录MRS Manager。 在“系统设置 > 用户管理”中选择新建的用户,单击“操作”列中的“修改”。 在
已创建的MRS集群如何修改Kerberos状态? 问: 已创建的MRS集群如何修改Kerberos认证的开启状态? 答: MRS服务暂不支持集群创建完成后手动开启和关闭Kerberos服务,如需更换Kerberos认证状态,建议重新创建MRS集群,然后进行数据迁移。 父主题: 用户认证及权限类
MRS集群支持提交哪些形式的Spark作业? 问: MRS集群支持提交哪些形式的Spark作业? 答: 当前在MRS页面,集群支持提交Spark、Spark Script和Spark SQL形式的Spark作业。 父主题: 作业管理类
Hadoop组件jar包位置和环境变量的位置在哪里? hadoopstreaming.jar位置在/opt/share/hadoop-streaming-*目录下。其中*由Hadoop版本决定。 jdk环境变量:/opt/client/JDK/component_env Hado
如何提高集群Core节点的资源使用率? 进入 Yarn服务配置页面: MRS 1.8.10及之前版本,登录MRS Manager页面,然后选择“服务管理 > Yarn > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 MRS 1.8.10之后及2.x版本,单击集群名称,登录集群详情页面,选择“组件管理
Manager页面,选择“集群 > Kafka”。 在服务“概览”页面右上角单击“更多”,选择“停用Ranger鉴权”。在弹出的对话框中输入密码,单击“确定”,操作成功后单击“完成”。 在服务“概览”页面右上角单击“更多”,选择“重启服务”,重启Kafka服务。 父主题: 组件配置类
如何查看MRS集群各组件配置文件路径? 常用组件配置文件路径如下所示: 组件 配置文件目录 ClickHouse 客户端安装路径/ClickHouse/clickhouse/config Flink 客户端安装路径/Flink/flink/conf Flume Flume客户端安
spark.yarn.executor.memoryOverhead设置不生效如何处理? 问题现象 Spark任务需要调整executor的overhead内存,设置了参数spark.yarn.executor.memoryOverhead=4096,但实际计算的时候依旧按照默认值1024申请资源。
ClickHouse物化视图设计 ClickHouse物化视图概述 ClickHouse普通物化视图设计 ClickHouse Projection设计 父主题: ClickHouse应用开发规范
Hudi表初始化 初始化导入存量数据通常由Spark作业来完成,由于初始化数据量通常较大,因此推荐使用API方式给充足资源来完成。 对于批量初始化后需要接Flink或Spark流作业实时写入的场景,一般建议通过对上有消息进行过滤,从一个指定的时间范围开始消费来控制数据的重复接入量
告警属性 告警ID 告警级别 是否自动清除 24001 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 AgentId 产生告警的Agent ID。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 产生告警的Flume
参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Impalad不能执行sql或执行sql超时,会影响到数据的读写。 可能原因 该Impalad服务维护的查询数量过多。 处理步骤 登录FusionInsight