检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 Kafka基本原理
int compaction.async.enabled 否 true 是否开启在线压缩 compaction.schedule.enabled 否 true 是否阶段性生成压缩plan,即使关闭在线压缩的情况下也建议开启 compaction.tasks 否 10 压缩Hudi表task并行度
HDFS:Source、Sink - 数据连接 选择数据连接。 - Topic 读取的Kafka的topic,支持从多个Kakfa topic中读取,topic之间使用英文分隔符进行分隔。 “映射表类型”选择“Kafka”时存在此参数。 - 文件路径 要传输的HDFS目录或单个文件路径。 “映射表类型”选择“HDFS”时存在此参数。
描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 version_name 是 String 参数解释: 集群版本。例如“MRS
<Alluxio的节点名称>:19998,请根据实际情况替换为AlluxioMaster实例所在所有节点的节点名称与端口号,各个名称与端口之间以英文逗号间隔,例如:node-ana-coremspb.mrs-m0va.com:19998,node-master2kiww.mrs-m0va
spark.sql.datasource.opentsdb.host 连接的TSD进程地址 空(默认值) xx.xx.xx.xx,多个地址间用英文逗号间隔。 spark.sql.datasource.opentsdb.port TSD进程端口号 4242(默认值) spark.sql
world:anyone:cdrwa,sasl:userA@HADOOP.COM:cdrwa 增加权限时,需要保留已有权限。新增加权限和旧的权限用英文逗号隔开,新增加权限有三个部分: 第一部分是认证类型,如sasl指使用kerberos认证; 第二部分是账号,如userA@HADOOP.COM指的是userA用户;
world:anyone:cdrwa,sasl:userA@HADOOP.COM:cdrwa 增加权限时,需要保留已有权限。新增加权限和旧的权限用英文逗号隔开,新增加权限有三个部分: 第一部分是认证类型,如sasl指使用kerberos认证; 第二部分是账号,如userA@HADOOP.COM指的是userA用户;
的结构必须一致。 若'表名'设置了加密算法SMS4或AES,则不支持对此HBase表启用将数据从主集群实时同步到备集群的功能。 若备集群不在线,或备集群中已存在同名但结构不同的表,启用容灾功能将失败。 若主集群中部分Phoenix表启用容灾功能同步数据,则备集群中不能存在与主集群
查找配置项“sasl.enabled.mechanisms”,配置为“GSSAPI,SCRAM-SHA-256,SCRAM-SHA-512”(使用英文逗号将这三项分隔)。 使用Scram登录组件。 查找自定义配置项“kafka.config.expandor”,配置名称为listener
口号/数据库名 --username 数据库用户名 --password 密码 --table 表名 --columns 列字段(多个列用英文逗号分开) -export-dir 导出地址 --fields-terminated-by 分隔符 --input-null-string
构必须一致。 如果'表名'设置了加密算法SMS4或AES,则不支持对此HBase表启用将数据从主集群实时同步到备集群的功能。 如果备集群不在线,或备集群中已存在同名但结构不同的表,启用容灾功能将失败。 如果主集群中部分Phoenix表启用容灾功能同步数据,则备集群中不能存在与主集
Manager主备节点同步数据异常,pms目录下存在脏数据。 解决Flink问题: 普通集群Flink jar作业提交失败。 创建只有两个英文字母的用户后,无法登录Flink WebUI页面。 FlinkServer重启策略的失败重试间隔时间单位与实际不符。 修改Flink登录用户的密码后,提交作业失败。
查找配置项“sasl.enabled.mechanisms”,配置为“GSSAPI,SCRAM-SHA-256,SCRAM-SHA-512”(使用英文逗号将这三项分隔)。 使用Scram登录组件。 查找自定义配置项“kafka.config.expandor”,配置名称为listener
描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 version_name 是 String 参数解释: 集群版本。例如“MRS
在添加自动化脚本时,可以参考表4配置相应参数。 表4 自动化脚本配置说明 配置项 示例 说明 名称 test 自动化脚本的名称。 只能由数字、英文字符、空格、中划线和下划线组成,且不能以空格开头。 可输入的字符串长度为1~64个字符。 说明: 同一集群内,不允许配置相同的名称。不同集群之间,可以配置相同的名称。
c。 client.sinks.kafka_sink.kafka.bootstrap.servers:Kafkabrokers列表,多个用英文逗号分隔。默认情况下,安全集群端口21007,普通集群对应端口9092。 client.sinks.kafka_sink.kafka.security
huawei.hadoop.datasight.io.compress.lzc.ZCodec” 说明: 若配置了多于一种的压缩格式需要使用英文逗号分隔。 org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress
单击“新增访问密钥”申请新密钥,按照提示输入密码与验证码之后,浏览器自动下载一个“credentials.csv”文件,文件为csv格式,以英文逗号分隔,中间的为AK,最后一个为SK。 AK信息 SK信息 1 obs://obs-demo-analysis-hwt4/input/
表输入 概述 “表输入”算子,将关系型数据库表的指定列按顺序转换成同等数量的输入字段。 输入与输出 输入:表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段 配置关系型数据库输入字段的相关信息: 位置:配置输入字段的位置。 字段名:配置输入字段名。