检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-45645 RocksDB的Pending Flush持续超过阈值 本章节适用于MRS 3.3.0及以后版本。 告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration,默认18
ALM-45646 RocksDB的Pending Compaction持续超过阈值 本章节适用于MRS 3.3.0及以后版本。 告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration
== 'HBase'</badlines> </import> </configuration> 执行如下命令,生成HFile文件。 hbase com.huawei.hadoop.hbase.tools.bulkload.ImportData -Dimport
ParameterTool paraTool = ParameterTool.fromArgs(args); // 构造流图,将自定义Source生成的数据写入Kafka DataStream<String> messageStream = env.addSource(new S
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现,它底层使用了Spark SQL来处理SQL语句,从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServ
ou=People,dc=huawei,dc=com或cn=%s,ou=People,dc=huawei,dc=com --ldap_passwords_in_clear_ok LDPA 密码是否以明文发送 如果设置为true,将允许LDAP密码在网络上明文发送 【取值范围】 true或false
previous_commit 指定的instant所更新或插入文件名中的时间戳 total_records_updated 该文件中多少个record被更新 total_records_written 该文件中新插入了多少个record total_bytes_written 该文件新增多少bytes的数据
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 更新用户(组)与IAM委托的映射关系成功 400 更新用户(组)与IAM委托的映射关系失败
执行以下命令,切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 使用kafka-delegation-tokens.sh对Token进行操作 为用户生成Token: ./kafka-delegation-tokens.sh --create --bootstrap-server <IP1:PORT
“#ALL”标记,表示取当前匹配的标签的所有内容作为值。 配置的标签有误时,取到的值为空,不会报错。 样例 源文件如下: 配置“HTML输入”算子,生成三个字段A、B和C: 依次输出这三个字段,结果如下: 父主题: Loader输入类算子
执行以下命令,切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 使用kafka-delegation-tokens.sh对Token进行操作。 为用户生成Token: ./kafka-delegation-tokens.sh --create --bootstrap-server <IP1:PORT
myhive WITH ( 'type' = 'hive', 'hive-version' = '3.1.0', 'default-database' = 'default' ); use catalog myhive; INSERT into user_behavior_h
配置Spark多租户模式 配置场景 多租户模式是将JDBCServer和租户绑定,每一个租户对应一个或多个JDBCServer,一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队列,从而达到资源隔离。 Yarn资源不足情况下,不建议开启多租户模式。 配置描述
== 'HBase'</badlines> </import> </configuration> 执行如下命令,生成HFile文件。 hbase com.huawei.hadoop.hbase.tools.bulkload.ImportData -Dimport
日志归档规则采用FixedWindowRollingPolicy策略,可配置项为单个文件最大值、日志归档的最大保留数目,具体规则如下: 当单个文件超过默认单个文件最大值时,就会生成一个新的归档压缩文件,归档后的日志压缩文件命名规则为<原有日志名>.[编号].log.gz。 日志删除规则: 运行日志中的HetuEngi
WebUI界面,从PgSQL导入数据到Hudi。 前提条件 集群已安装CDL、Hudi服务且运行正常。 PgSQL数据库需要开启前置要求,操作步骤请参考PostgreSQL数据库修改预写日志的策略。 在FusionInsight Manager中创建一个人机用户,例如“cdluser”,加入用户组cd
Spark On Hudi性能调优 优化Spark Shuffle参数提升Hudi写入效率 开启spark.shuffle.readHostLocalDisk=true,本地磁盘读取shuffle数据,减少网络传输的开销。 开启spark.io.encryption.enable
Flink应用性能调优建议 配置内存 Flink是依赖内存计算,计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC(Garbage Collection),评估内存使用及剩余情况来判断内存是否变成性能瓶颈,并根据情况优化。 监控节点进程的YARN的Container
LOAD参数描述 参数 描述 segment_id 将要删除的Segment的ID。 db_name Database名称,若未指定,则使用当前database。 table_name 在给定的database中的表名。 注意事项 流式表不支持删除segment。 示例 DELETE FROM TABLE
参数 描述 segment_id 将要删除的Segment的ID。 db_name Database名称,如果未指定,则使用当前database。 table_name 在给定的database中的表名。 注意事项 流式表不支持删除segment。 示例 DELETE FROM TABLE