检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JDBC方式执行SQL语句在集群中创建dbName变量对应的数据库。 String createDatabaseSql = "create database if not exists " + dbName; public static void execDDL(Connection connection
打包后的jar文件。 在Maven工具窗口,选择“clean”生命周期,执行Maven构建过程。然后继续选择“package”进行打包,在生成的“target”目录中获取jar包。 [INFO] ------------------------------------------
配置矢量化读取ORC数据 配置场景 ORC文件格式是一种Hadoop生态圈中的列式存储格式,它最初产生自Apache Hive,用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet文件格式类似,它并不是一个单纯的列式存储格式,仍然是首先根据行组分割整个表,在每
配置矢量化读取ORC数据 配置场景 ORC文件格式是一种Hadoop生态圈中的列式存储格式,它最初产生自Apache Hive,用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet文件格式类似,它并不是一个单纯的列式存储格式,仍然是首先根据行组分割整个表,在每
@Override public JavaRDD<HoodieRecord<T>> repartitionRecords(JavaRDD<HoodieRecord<T>> records, int outputSparkPartitions) { JavaPairRDD<String
@Override public JavaRDD<HoodieRecord<T>> repartitionRecords(JavaRDD<HoodieRecord<T>> records, int outputSparkPartitions) { JavaPairRDD<String
提升HBase实时读数据效率 操作场景 需要读取HBase数据场景。 前提条件 调用HBase的get或scan接口,从HBase中实时读取数据。 操作步骤 读数据服务端调优 参数入口:登录FusionInsight Manager,选择“集群 > 服务 > HBase > 配置
N节点。 hdfs diskbalancer -plan <Hostname| IP Address> 此条命令可以根据传入的DataNode生成一个Json文件,该文件包含了数据移动的源磁盘、目标磁盘、待移动的块等信息。同时,该命令还支持指定一些其他网络带宽参数等。 hdfs diskbalancer
不支持为表创建索引时自定义索引的其他属性,例如,压缩方式、BLOCKSIZE、列编码等。 索引写入约束 索引数据生成仅支持Put/Delete接口,使用其他方式(Increment、Append、Bulkload等)写入数据表时不会生成对应索引。 索引列数据定义为String类型时,要避免写入\x00和\x01两个特殊字符(特殊不可见字符)。
创建Bucket索引表调优 Bucket索引常用设置参数: Spark: hoodie.index.type=BUCKET hoodie.bucket.index.num.buckets=5 Flink index.type=BUCKET hoodie.bucket.index.num
数据,并提供给map任务多条键值对进行处理,决定并行启动的map任务数目。MapReduce框架根据用户指定的OutputFormat,把生成的键值对输出为特定格式的数据。 map、reduce两个阶段都处理在<key,value>键值对上,也就是说,框架把作业的输入作为一组<key
在“登录方式”选择“密码”或“SSH私钥”。 密码:输入创建集群时设置的root用户密码。 SSH私钥:选择并上传创建集群时使用的密钥文件。 单击“确定”开始生成客户端文件。 若界面显示以下提示信息表示客户端包已经成功保存。单击“关闭”。客户端文件请到下载客户端时设置的远端主机的“存放路径”中获取。
Spark同步HBase数据到CarbonData样例程序开发思路 场景说明 数据实时写入HBase,用于点查业务,数据每隔一段时间批量同步到CarbonData表中,用于分析型查询业务。 数据规划 创建HBase表,构造数据,列需要包含key,modify_time,valid
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 204 操作成功。 错误码 请参见错误码。 父主题: 标签管理接口
解决ResourceManager内存泄露问题 解决Hive union语句合并小文件报错问题 解决Hadoop的task任务报空间不足失败问题 解决hive作业成功无数据生成问题 补丁兼容关系 无。 安装补丁的影响 安装MRS 1.9.2.2补丁期间会重启MRS Manager,滚动重启Hadoop、Hive、
用于问题定位等其他日志查看场景,详细操作指导请参见在线检索日志。FusionInsight Manager支持批量导出各个服务角色所有实例生成的日志,无需手工登录单个节点获取,详细操作指导请参见下载日志。 父主题: 安全
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现,它底层使用了Spark SQL来处理SQL语句,从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServ
ConsumerRecords<Integer, String> records = consumer.poll(waitTime); // 消息处理 for (ConsumerRecord<Integer, String> record : records) {
Spark HA方案介绍 Spark多主实例HA原理与实现方案 基于社区已有的JDBCServer基础上,采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务,通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCSer
配置存算分离集群(委托方式) 配置存算分离集群(AKSK方式) 外置元数据连接 MRS的支持组件使用外部数据源存储数据,如Hive的元数据使用外部的关系型数据库(RDS),可以通过数据连接来关联Hive组件实现。 管理数据连接 HDFS地址映射方式访问OBS 通过HDFS地址映射到OBS地址的方式,支持将