检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hoodie.cleaner.policy 要使用的清理策略。Hudi将删除旧版本的parquet文件以回收空间。 任何引用此版本文件的查询和计算都将失败。需要确保数据保留的时间超过最大查询执行时间。 KEEP_LATEST_COMMITS hoodie.cleaner.commits
对于开启了Kerberos认证的集群,需要创建一个业务用户,例如创建用户“sparkuser”,该用户属于hive、hadoop、supergroup组,主组为hive,角色绑定sparkstatic1。 配置Spark SQL防御使用约束 防御规则默认动态生效时间为6分钟。 仅支持SQL类型作业。 拦截和熔断规则会
ck.log ZooKeeper实例健康检查日志。 zookeeper-period-check-java.log ZooKeeper配额监控周期检查日志。 审计日志 zk-audit-quorumpeer.log ZooKeeper操作审计日志。 日志级别 ZooKeeper中
您可以在“configuration.xml”文件中定义多个方式来批量导入数据,导入数据时可不创建索引。 列的名称不能包含特殊字符,只能由字母、数字和下划线组成。 大任务下MapReduce任务运行失败,请参考MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常进行处理。
Storm-OBS开发指引 操作场景 本章节只适用于MRS产品中Storm和OBS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm已经安装,并正常运行。 将storm-examples导入到Eclipse开发环境,请参见导入并配置Storm样例工程。
+ "_" + messageCount); // 此处对于同一线程指定相同Key值,确保每个线程只向同一个Partition生产消息 Integer key = new Integer(sendThreadId);
您可以在“configuration.xml”文件中定义多个方式来批量导入数据。导入数据时可不创建索引。 列的名称不能包含特殊字符,只能由字母、数字和下划线组成。 大任务下MapReduce任务运行失败,请参考MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常进行处理。
icmp_seq=4 Destination Host Unreachable 解决办法 设置为正确的IP,必须为本机的IP,如果端口被占用,重新配置一个空闲的端口。 配置正确的证书路径。 联系网络管理员,恢复网络。 父主题: 使用Flume
当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的元数据。 必须使用同一时间点的OMS和LdapServer备份数据进行恢复,否则可能造成业务和操作失败。 MRS集群默认使用DBService保存Hive的元数据。 对系统的影响 数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。
world:anyone:cdrwa,sasl:userA@HADOOP.COM:cdrwa 增加权限时,需要保留已有权限。新增加权限和旧的权限用英文逗号隔开,新增加权限有三个部分: 第一部分是认证类型,如sasl指使用kerberos认证; 第二部分是账号,如userA@HADOOP
新建文件夹”新建“testFlumeOutput”文件夹。 使用root用户登录安装Flume客户端的节点。 新建“/opt/flumeInput”目录,并在该目录下新建一个内容自定义的txt文件。 编辑“客户端安装目录/FusionInsight-flume-*/properties.properties”文件,新增如下内容:
换操作。 证书文件和密钥文件可向企业证书中心申请或由集群用户生成。 对系统的影响 更换过程中Manager需要重启,此时系统无法访问且无法提供服务。 前提条件 获取需要更换的HA根证书文件“root-ca.crt”和密钥文件“root-ca.pem”。 准备一个访问密钥文件的密码
world:anyone:cdrwa,sasl:userA@HADOOP.COM:cdrwa 增加权限时,需要保留已有权限。新增加权限和旧的权限用英文逗号隔开,新增加权限有三个部分: 第一部分是认证类型,如sasl指使用kerberos认证; 第二部分是账号,如userA@HADOOP
cp_[rw]mem) ,一般为4MB,表示netty的发送和接收的缓冲区大小。 “taskmanager.network.netty.transport”:默认为“nio”方式,表示netty的传输方式,有“nio”和“epoll”两种方式。 父主题: Flink性能调优
TagWithMultiValue objects 参数解释: 返回结果包含该参数中任意一个标签对应的资源。 约束限制: 该参数最多包含10个key,每个key下面的value最多10个,结构体不能缺失,key不能为空或者空字符串。Key不能重复,同一个key中values不能重复。 取值范围: 不涉及 默认取值:
oldap > 修改配置”。 “Ldap服务监听端口”参数值即为oldap端口。 查询域名方法: 登录Manager,选择“系统 > 权限 > 域和互信”。 “本端域”参数即为域名。 例如当前系统域名为“9427068F-6EFA-4833-B43E-60CB641E5B6C.COM”。
当前系统时间为2024年4月份,根据TTL策略规则example_table表d列为'2018-10-01'和'2017-10-01'的数据已被删除。 执行以下查询hot data和cold data的存储路径。 select name, partition, active, path
创建具有Doris管理权限的用户。 集群已启用Kerberos认证(安全模式) 在FusionInsight Manager中创建一个人机用户,例如“dorisuser”,创建一个拥有“Doris管理员权限”的角色绑定给该用户。 使用新建的用户dorisuser重新登录FusionInsight
定义的子目录,用来存放SSL keystore、truststore相关配置文件。 运行DataStream(Scala和Java)样例程序。 在终端另开一个窗口,进入Flink客户端目录,调用bin/flink run脚本运行代码。 Java bin/flink run --class
HBase会把数据存储在HDFS上,主要包括HFile文件和WAL文件,由配置项“hbase.rootdir”指定在HDFS上的路径,华为云MRS的默认存储位置是“/hbase”文件夹下。 HBase自带的一些机制和工具命令也可以实现数据搬迁,例如:通过导出Snapshots快