检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0及之后版本)。 日志归档规则:Ranger的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过20MB的时,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”,最多保留最近的20个压缩文件。 表1 Ranger日志列表
properties”保存到本地。 上传配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume”,在“实例”下单击准备上传配置文件的“Flume”角色,单击“实例配置 ”页面“flume.config.file”参数后的“上传文件”,选择1.d导出的“properties
replication.min”定义的最小复制需求的块的比例。取值范围:0~1.0。 值小于等于0时,NameNode会直接退出安全模式,不会等待任何指定比例的块。 值大于1时,NameNode会永久处于安全模式。 0.999999 参数修改后保存配置。 在HDFS“实例”界面,勾选所有Nam
'topic' = 'test_sink', 'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号', 'scan.startup.mode' = 'latest-offset', 'value
xml”是否为适配应用运行修改或新增过配置内容。 是,将相关内容同步更新到新的配置文件中,并替换旧的配置文件。 否,使用新的配置文件替换HBase上层应用中原有的配置文件。 配置HBase上层应用所在主机与备集群的网络连接。 当客户端所在主机不是集群中的节点时,配置客户端网络连接,可避免执行客户端命令时出现错误。 确
hash.field:进行分桶时计算Hash值的字段,必须为主键的子集,默认为Hudi表的主键。该参数不填则默认为recordkey.field。 MRS 3.2.1及以后版本对于同一张Hudi表,可以被Flink、Spark引擎的bucket索引交叉混写。 作业1:FlinkSQL流式写入MOR表。
); 在开启了写时合并选项的Unique表中,数据在导入阶段就会将被覆盖和被更新的数据进行标记删除,同时将新的数据写入到新的文件。在查询时,所有被标记删除的数据都会在文件级别被过滤,读取出来的数据是最新的数据,消除了读时合并中数据聚合的过程,并且支持多种谓词的下推,因此在聚合查询场景下能带来较大的性能提升。
群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 检查备集群HDFS是否有充足的空间,备份文件保存的目录建议使用用户自定义的目录。 根据业务需要,规划备份任务的类型、周期、备份对象、备份目录和备份任务需要使用的Yarn队列等策略规格。 使
properties”保存到本地。 上传配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume”,在“实例”下单击准备上传配置文件的“Flume”角色,单击“实例配置 ”页面“flume.config.file”参数后的“上传文件”,选择1.d导出的“properties
以客户端安装用户,登录安装客户端的节点,执行如下命令: cd {客户端安装目录} source bigdata_env 如果集群已启用Kerberos认证(安全模式),执行以下命令进行用户认证。集群未启用Kerberos认证(普通模式)无需执行用户认证。 kinit 组件业务用户 执行
准备ClickHouse应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。
String 队列的内在状态(自身状态)。表示队列的有效状态为OPEN或CLOSED。CLOSED状态的队列不接受任何新的allocation请求。 eopen_state String 队列的外在状态(父队列状态)。有效状态为队列自身状态及其父队列状态的组合。CLOSED状态的队列不接受任何新的allocation请求。
如何查看ENABLED表的CLOSED状态的Region 问题 如何在HBase客户端查看ENABLED表的CLOSED状态的Region。 该操作仅MRS 3.3.0及之后版本支持。 处理步骤 以客户端安装用户登录到安装了HBase客户端的节点。 切换到客户端安装目录并配置环境变量:
管理MRS集群作业 停止删除MRS集群作业 克隆MRS集群作业 配置MRS集群作业消息通知 父主题: 管理MRS集群
本章节主要介绍Iceberg重要配置的详细信息。Iceberg表支持使用表属性来配置表的行为,例如读取器的默认拆分大小。 表1 读属性 属性名称 默认值 描述 read.split.target-size 134217728(128MB) 用于设置数据被拆分后的大小。 read.split
有“default”数据库的“建表”权限。如果Hive的数据库不是“default”,则还需要执行以下步骤: 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”,勾选所需指定的数据库的“建表”,单击“确定”保存。 在Manager角色界面创建一
有“default”数据库的“建表”权限。如果Hive的数据库不是“default”,则还需要执行以下步骤: 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”,勾选所需指定的数据库的“建表”,单击“确定”保存。 在Manager角色界面创建一
1.0.8补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
sh”,进行Loader作业数据备份。系统将数据备份到作业的输出路径同一层目录。 ./run.sh 备份数据的输入目录 例如,备份数据的输入目录为“/user/hbase/”,作业的输出路径为/opt/client/sftp/sftp1,其中sftp1只起到一个占位符的作用。执行如下命令,数据将备份到/
降低当前服务器面临的主要安全风险。 约束与限制 MRS集群的节点的操作系统版本需在HSS的Agent支撑的操作系统列表范围内,才可以安装HSS进行防护。 操作步骤 确认MRS集群的节点镜像的操作系统版本是否在主机安全服务的Agent支撑的操作系统列表范围内。 登录MRS管理控制台。