检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查看Flume日志 Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功,在日志里都可以看到提示。可以直接输入以下命令查看: tailf /var/log/Bigdata/flu
USE 语法 USE catalog.schema USE schema 描述 指定当前会话所使用的catalog和schema。如果cataglog未指定,则默认使用当前的catalog。 示例 指定当前的会话到hive catalog下名为test的schema: USER hive
EXECUTE 语法 EXECUTE statement_name [ USING parameter1 [ , parameter2, ... ] ] 描述 执行预编译的SQL语句(prepared statement),并可以使用USING来指定输入参数。 示例 执行一个不带输入参数的预编译语句
HetuEngine样例表数据准备 创建具有TINYINT类型数据的表: --创建具有TINYINT类型数据的表。 CREATE TABLE int_type_t1 (IT_COL1 TINYINT) ; --插入TINYINT类型数据 insert into
Hudi TTL简介 TTL能力适用于MRS 3.5.0及之后的版本。 TTL能力目前只支持分区级别的TTL。 TTL(Time To Live)能力可以控制Hudi表中数据的生存周期,也称为数据老化。 考虑到如下两个场景: 场景1:如果需要在流场景中去删除老化的分区,只能停止流任务执行DDL命令去删除分区。
导入到Hive表时报错 问题 Sqoop导入数据到Hive表时打印如下报错日志: 查看Yarn上该Application对应的appattempt的Logs,在syslog中有如下任务日志: 回答 Hive中日志框架和Hadoop中的日志框架存在依赖冲突导致。需删除当前使用的Sq
lustering服务来重写数据以优化Hudi数据湖文件的布局。 Clustering服务可以异步或同步运行,Clustering会添加了一种新的REPLACE操作类型,该操作类型将在Hudi元数据时间轴中标记Clustering操作。 Clustering服务基于Hudi的MV
表1 IoTDB权限一览 权限名称 说明 用户需要的权限 示例 SET_STORAGE_GROUP 创建存储组,包含设置存储组的权限和设置或取消存储组的存活时间(TTL)。 设置存储组 set storage group to root.ln; set ttl to root.ln
节点故障时,Region副本的其他主机节点上的副本可替代工作,保证服务能正常运行,提高集群的稳定性。 本章节主要介绍IoTDB数据操作时常用的配置参数。 操作步骤 登录集群Manager页面,选择“集群 > 服务 > IoTDB > 配置 > 全部配置”,进入IoTDB配置界面修改参数。
上传数据库驱动文件 操作场景 CDL是一种简单、高效的数据实时集成服务,能够从各种OLTP数据库中抓取事件推送至Kafka。通过CDLService WebUI创建数据库连接时,可将数据库对应的驱动文件通过界面上传,方便统一管理。 前提条件 已获取待连接数据库对应的驱动Jar包。
/hetuserver”。 使用HDFS的页面上传。 使用HetuEngine用户登录FusionInsight Manager,选择“集群 > 服务 > HDFS”,进入HDFS服务页面。 在概览页签下的“基本信息”区域,单击“NameNode WebUI”后的链接,进入NameNode WebUI界面。
Schema演进开启后不能关闭。 本章节仅适用于MRS 3.2.0及之前版本。 使用spark-beeline时,需要登录Manager页面,选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。 在搜索栏中搜索参数“spark.sql.extensions”,修改JDBCServer的spark
ClickHouse本地表设计 规则 单表(分布式表)的记录数不要超过万亿,对于万亿以上表的查询,性能较差,且集群维护难度变大。单表(本地表)不超过百亿。 表的设计都要考虑到数据的生命周期管理,需要进行TTL表属性设置或定期老化清理表分区数据。 单表的字段建议不要超过5000列。
在线检索”,在“服务”中选择“ClickHouse”,“检索内容”填写日志检索关键字,通过“检索”在线检索ClickHouse日志内容。 支持ClickHouse日志内容收集。 登录FusionInsight Manager界面,访问“运维 > 日志 > 下载”,在“服务”中选择“C
FlinkSQL Kafka表开发规则 Kafka作为sink表时必须指定“topic”配置项 【示例】向Kafka的“test_sink”主题插入一条消息: CREATE TABLE KafkaSink( `user_id` VARCHAR, `user_name`
FlinkSQL Kafka表开发建议 Kafka作为source表时应设置限流 本章节适用于MRS 3.3.0及以后版本。 防止上限超过流量峰值,导致作业异常带来不稳定因素。因此建议设置限流,限流上限应该为业务上线压测的峰值。 【示例】 #如下参数作用在每个并行度 'scan.records-per-second
SET 命令功能 ALTER TABLE ... SET|UNSET语法用于修改表属性。 命令语法 ALTER TABLE tableName SET|UNSET tblproperties 参数描述 表1 参数描述 参数 描述 tableName 表名。 tblproperties
/ UPDATE)文件超过指定的阈值,则可能发生水平压缩。默认情况下,该参数值设置为“true”,打开水平压缩功能,可将参数值设置为“false”来关闭水平压缩功能。 carbon.horizontal.update.compaction.threshold 1 该参数指定se
修改Kudu表 功能简介 通过KuduClient.alterTable(String name, AlterTableOptions ato)方法修改表对象。 代码样例 如下是写数据的代码片段: // Alter the table, adding a column with a
修改Kudu表 功能简介 通过KuduClient.alterTable(String name, AlterTableOptions ato)方法修改表对象。 代码样例 如下是写数据的代码片段: // Alter the table, adding a column with a