检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置”,搜索“https_port”查看;HTTP端口号可搜索“http_port”查看。 table.identifier:参数值为2Doris侧创建的数据库和表。 “username”和“password”为连接Doris的用户名和密码。 集群未启用Kerberos认证(普通模式)和集群已启用Kerbero
生产者通过此参数值,创建与Broker之间的连接。 sasl.kerberos.service.name 服务名。 Kafka集群运行,所使用的Kerberos用户名(需配置为kafka)。 key.serializer 消息Key值序列化类。 指定消息Key值序列化方式。 value.serializer 消息序列化类。
IP地址。 Kafka连接端口:集群已启用Kerberos认证(安全模式)时Broker端口为“sasl.port”参数的值。集群未启用Kerberos认证(普通模式)时Broker端口为“port”的值。 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer
S), outputFunction(S, R)) 返回从数组减少的单个值。将按顺序为数组中的每个元素调用inputFunction。除了获取元素之外,inputFunction还获取当前状态,最初为initialState,然后返回新状态。将调用outputFunction将最终
ark.dynamic.masked.hetu.policy.sync.update.enable”设置为“true”,且需将内置用户Spark2x的Ranger用户类型调整为Admin用户类型。 保存配置,重启Spark服务。 登录Spark客户端节点,执行如下命令: cd 客户端安装目录
<tablename>:表示要操作的表名。 <inputdir>:表示要批量导入的数据目录。 -Dindexspecs.to.add=<indexspecs>:表示索引名与列的映射,例如-Dindexspecs.to.add='index_bulk=>info:[age->String]'。 其构成如下所示:
需在本地环境变量中设置环境变量认证用户名和认证用户密码,建议密文存放,使用时解密,确保安全。其中: 认证用户名为访问IoTDB的用户名。 认证用户密码为访问IoTDB的用户密码。 public class FlinkIoTDBSource { /** * 安全模式下,“SSL_ENABLE
IP地址。 Kafka连接端口:集群已启用Kerberos认证(安全模式)时Broker端口为“sasl.port”参数的值。集群未启用Kerberos认证(普通模式)时Broker端口为“port”的值。 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer
在checkpoint列表中,等待下一次检查。 如果此参数的值设置为0,则表示系统不会检查老化文件,所有老化文件会被保存在系统中。 取值范围:0~fs.trash.interval。 说明: 不推荐将此参数值设置为0,这样系统的老化文件会一直存储下去,导致集群的磁盘空间不足。 60
在checkpoint列表中,等待下一次检查。 如果此参数的值设置为0,则表示系统不会检查老化文件,所有老化文件会被保存在系统中。 取值范围:0~fs.trash.interval。 说明: 不推荐将此参数值设置为0,这样系统的老化文件会一直存储下去,导致集群的磁盘空间不足。 60
配置 > 全部配置”,搜索参数“hive-ext.dlcatalog.metastore.client.enable”,查看该参数的值是否为“false”。 若为“false”,表示当前Hive已开启MetaStore功能;若为“true”,表示当前Hive已开启LakeForm
Partitions Topic的分区数量,取值范围大于等于1,默认为3。 - Replication Factor Topic的副本因子,取值范围为1~N,N为当前集群Broker个数,默认为2。 - 用户可根据业务需要单击“Advanced Options”配置topic相关高级参数,通常保持默认即可。
数量,当等待执行的作业数量超过800时,触发该告警。 告警属性 告警ID 告警级别 是否可自动清除 50401 紧急(默认阈值为900) 重要(默认阈值为800) 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称
ClickHouse >配置 > 全部配置”。搜索参数项“clickhouse-config-customize”添加名称为“mysql_port”,值为“9004”的参数值。 参数值可以自行设置。 修改完成后,单击“保存”。 单击“概览”页签,选择“ 更多 > 重启实例”或者“ 更多 > 滚动重启实例”。
由于执行Distcp无法为OBS上的文件设置权限、属主/组等信息,因此当前场景在进行数据导出时也需要将HDFS的元数据信息进行导出并复制,以防HDFS文件属性信息丢失。 线下集群向云迁移 线下集群可以通过如下两种方式将数据迁移至云: 云专线(DC) 为源集群与目标集群之间建立云
17290848707_0008" 其中192.168.227.16为JobHistory节点的业务IP,18080为JobHistory的端口号,application_1517290848707_0008为应用的id。 结果: { "id" : "application_1517290848707_0008"
然后通过hadoop命令查看对应表的大小。如查看表A的大小命令为: hadoop fs -du -s -h ${test.warehouse.dir}/a 进行广播操作,需要至少有一个表不是空表。 配置自动广播的阈值。 Spark中,判断表是否广播的阈值为10485760(即10M)。如果两个表的大
全部配置 > BE(角色) > 自定义”,新增自定义参数“streaming_load_rpc_max_alive_time_sec”,默认值为1200秒,需适当调大该参数值,并重启配置过期的BE实例。 父主题: Doris常见问题
min(maxSize, blockSize)) 如果maxSize设置大于blockSize,那么每个block就是一个分片,否则就会将一个block文件分隔为多个分片,如果block中剩下的一小段数据量小于splitSize,还是认为它是独立的分片。 - mapreduce.input.fileinputformat
级集群或者手动停用了Ranger鉴权的集群,可参考如下操作重新启用Ranger鉴权。 启用Ranger鉴权的集群,管理员可通过Ranger为HetuEngine用户配置操作数据源的数据库、表、列的管理权限,详情请参考添加HetuEngine的Ranger访问权限策略。 登录FusionInsight