检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发Hive应用 Hive JDBC访问样例程序 HCatalog访问Hive样例程序 基于Python的Hive样例程序 基于Python3的Hive样例程序 父主题: Hive开发指南(普通模式)
开发Impala应用 Impala样例程序开发思路 创建Impala表 加载Impala数据 查询Impala数据 开发Impala用户自定义函数 Impala样例程序指导 父主题: Impala开发指南(普通模式)
开发HBase应用 HBase数据读写样例程序 HBase Rest接口调用样例程序 访问HBase ThriftServer连接样例程序 HBase访问多个ZooKeeper样例程序 父主题: HBase开发指南(安全模式)
开发Hive应用 Hive JDBC访问样例程序 HCatalog访问Hive样例程序 基于Python的Hive样例程序 基于Python3的Hive样例程序 父主题: Hive开发指南(安全模式)
ClickHouse数据分布设计 Shard和副本概念介绍 图1 ClickHouse集群架构图 从横向来看ClickHouse数据库集群,所有数据都会平均分布到多个shard分片中进行保存,数据平均分布后,保证了查询的高度并行性,以提升数据的查询性能。 从纵向来看,每个shar
SparkSQL建表参数规范 规则 建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力,该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力,不指定preCombineField会导致主键重复。
单击“组件管理”,查看各服务的角色操作状态,如果存在“未启动”的角色,单击“更多 > 启动实例”,启动该实例。 如果启动失败,根据任务列表里中任务的报错信息进行修复再尝试重启。 如果异常角色较多,可单击右上角的“管理操作”选择启动所有组件。 如果存在其他情况导致服务异常无法解决,请联系技术服务协助处理。
Flume向Spark Streaming提交作业后报类找不到错误 用户问题 Flume向Spark Streaming提交作业,提交到集群后报类找不到的错误。 问题现象 Spark Streaming代码打成jar包提交到集群后报类找不到错误,通过以下两种方式依然不生效。 在提交Spark作业的时候使用--jars
JDK版本不匹配导致启动spark-sql和spark-shell失败 问题背景与现象 JDK版本不匹配导致客户端启动spark-sql、spark-shell失败。 原因分析 在Driver端打印异常如下: Exception Occurs: BadPadding 16/02/22
Hive表中增加分区列后再插入数据显示为NULL 问题现象 执行如下命令创建表 create table test_table( col1 string, col2 string ) PARTITIONED BY(p1 string) STORED AS orc tblproperties('orc
配置sql-standard-with-group创建schema失败报Access Denied 用户问题 配置sql-standard-with-group创建schema失败,报Access Denied的错误。 问题现象 报错如下: CREATE SCHEMA hive.sf2
yaml”文件各参数是否配置正确。 对于开启Kerberos认证的集群配置项包括Kerberos的keytab、principal等。 从KDC服务器上下载用户keytab,并将keytab放到Flink客户端所在主机的某个文件夹下(例如/home/flinkuser/keytab)。
Oozie多个节点同时提供服务的时候,通过ZooKeeper来提供高可用(HA)功能,防止单节点故障以及多节点同时处理一个任务。 MRS 3.3.1及之后版本Oozie默认开启HA机制,无需执行该章节操作。 对系统影响 操作过程中需要重启Oozie服务。重启过程中,Oozie服务无法提供服务。 前提条件
图表页面可直接查看该主机的全量监控图表信息 进程页面显示了当前主机上已部署服务实例的角色进程信息,例如进程状态、PID、进程运行时间等,并可直接在线查看各进程的日志文件内容。 主机资源页面显示了当前主机上已部署服务实例的详细资源使用情况,包括CPU,内存,磁盘和端口情况。 通过Manager页面查看节点状态(MRS
理”,选择需要重启的服务,进入服务页面。在“服务状态”页签单击“更多”,选择“重启服务”或“滚动重启服务”。 在FusionInsight Manager界面,选择“集群 > 服务 > 待操作的服务名称”,单击右上角的“更多”,选择“重启服务”或“滚动重启服务”。 升级路径不一样重启的服务不一样,详情见如下表格。
回滚补丁 回滚补丁前检查 回滚补丁 回滚补丁后操作 父主题: MRS 3.2.0-LTS.1.8补丁说明
理”,选择需要重启的服务,进入服务页面。在“服务状态”页签单击“更多”,选择“重启服务”或“滚动重启服务”。 在FusionInsight Manager界面,选择“集群 > 服务 > 待操作的服务名称”,单击右上角的“更多”,选择“重启服务”或“滚动重启服务”。 升级路径不一样重启的服务不一样,详情见如下表格。
配置健康检查报告保存数: 在不同时间、不同使用场景下,MRS集群、服务和主机产生的健康检查报告结果不完全相同。如果需要保存更多的报告用于比较时,可以在MRS Manager修改健康检查报告保存的文件数。健康检查报告保存的文件数不区分集群、服务或主机类型的健康检查报告。健康检查完成后,报告文件默
管理MRS租户资源目录 用户根据业务需求,可以在MRS对指定租户使用的HDFS存储目录,进行管理操作。支持用户对租户添加目录、修改目录文件数量配额、修改存储空间配额和删除目录。 前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“I
管理MRS租户资源池 根据业务需要,资源池的主机需要调整时,用户可以通过MRS修改已有资源池中的成员。 前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager