检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
tablelocation; 参数描述 表1 参数描述 参数 描述 tableIdentifier Hudi表的名称 tablelocation Hudi表的存储路径 示例 run archivelog on h1; run archivelog on "/tmp/hudi/h1"; 注意事项 cl
table_name Database中的表名,由字母、数字和下划线(_)组成。 STORED AS 使用CarbonData数据格式存储数据。 TBLPROPERTIES CarbonData table属性列表。详细信息,见注意事项。 注意事项 NA 示例 CREATE TABLE
tsdb命令可以使用“tsdb import”命令批量导入指标数据,可执行如下命令: 准备指标数据,如包含如下内容的importData.txt文件。 sys.cpu.user 1356998400 41 host=web01 cpu=0 sys.cpu.user 1356998401
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 故障状态的DataNode节点无法提供HDFS服务,可能导致用户无法读写文件。 可能原因 DataNode故障或者负荷过高。 NameNode和DataNode之间的网络断连或者繁忙。 NameNode负荷过高。
warehouse.size.percent”,调大该配置项。设配置项的值为A,HDFS总存储空间为B,阈值为C,Hive已经使用HDFS的空间大小为D。调整策略为A x B x C > D ,HDFS总存储空间可在HDFS监控界面查看,Hive已经使用HDFS的空间大小可在Hive的监控界面查看。
table_name Database中的表名,由字母、数字和下划线(_)组成。 STORED AS 使用CarbonData数据格式存储数据。 TBLPROPERTIES CarbonData table属性列表。详细信息,见注意事项。 注意事项 NA 示例 CREATE TABLE
[TBLPROPERTIES ('key'='value', ...)]; 其中: PARTITIONED:用于指定分区字段。 LOCATION:用于指定表存储位置。 COMMENT:用于指定表描述。 TBLPROPERTIES:用于指定表属性。 Iceberg不支持创建CTAS或RTAS表。 使用示例
hing值);如果业务侧业务暂时无法优化,可以在应用侧的“客户端安装目录/HBase/hbase/conf/hbase-site.xml”文件中新增或修改以下参数(仅减少告警日志打印,不会缓解过载)。 表2 减少告警日志打印 参数名称 参数描述 调整策略 hbase.rpc.rows
proxyuser.test.groups * 重启HDFS、Yarn、Spark、Hive服务,并更新客户端HDFS、Yarn、Spark、Hive配置文件。 登录Spark客户端节点,执行如下命令: cd 客户端安装目录 source bigdata_env source Spark/component_env
client_body_buffer_size 设置读取客户端请求正文的缓冲区大小。如果请求主体大于缓冲区,则将整个主体或仅将其部分写入临时文件。 默认值:10240 取值范围:大于0 client_body_timeout 定义读取客户端请求正文的超时时间。超时仅针对两次连续读取
Hive企业级能力增强 配置Hive表不同分区分别存储至OBS和HDFS 配置Hive目录旧数据自动移除至回收站 配置Hive插入数据到不存在的目录中 配置创建Hive内部表时不能指定Location 配置用户在具有读和执行权限的目录中创建外表 配置基于HTTPS/HTTP协议的REST接口
name”的参数值可在安装了Kafka客户端的节点的“客户端安装目录/Kafka/kafka/config”目录下的“server.properties”文件中,搜索“sasl.kerberos.service.name”、“security.protocol”或“kerberos.domain
题,Kafka集群保留一个用于缩放、并行化和容错性的分区(Partition)。每个分区是一个有序、不可变的消息序列,并不断追加到提交日志文件。分区的消息每个也被赋值一个称为偏移顺序(Offset)的序列化编号。 图1 Kafka结构 表1 Kafka结构图说明 名称 说明 Broker
s/v1/sscheduler/applications/{application_id}”。 由于Superior Scheduler只存储正在运行的applicationID,所以当查看的是已结束或不存在的applicationID,服务器会响应给浏览器“404”的状态码。但
如果观察到个别节点占用资源较高,需要针对占用资源较高的节点分析,分析当前的SQL语句是什么原因导致部分节点占用比其他节点更多资源,是计算还是数据存储倾斜导致,或者是软件bug导致。 每个节点资源占用都比较高 如果集群所有节点资源占用都比较高,说明集群整体比较忙,需要单独确认需要调优的S
查看并记录主备节点的Namenode ID。记录后不要关闭该页面。 图3 主节点的Namenode ID 任意登录一个Master节点的弹性云服务器,执行如下命令配置环境变量。 source /opt/Bigdata/client/bigdata_env 如果当前集群已启用Ke
wheel 系统内部运行用户“omm”的主组。 ficommon 系统公共组,对应“compcommon”,可以访问集群在操作系统中保存的公共资源文件。 如果当前集群不是在FusionInsight Manager内第一次安装的集群,集群内除Manager以外其他组件对应的默认用户组名称
"replication_allocation" = "tag.location.default: 1" ); 在当前节点的任意目录下创建“test.csv”文件,内容如下: 10000,2017-10-01,city1,20,0,2017-10-01 06:00:00,20,10,10 10000
s/v1/sscheduler/applications/{application_id}”。 由于Superior Scheduler只存储正在运行的applicationID,所以当查看的是已结束或不存在的applicationID,服务器会响应给浏览器“404”的状态码。但
se”后滚动重启HDFS服务,保证HDFS数据的高可靠。对于确定存在单副本诉求的文件也可通过“dfs.single.replication.exclude.pattern”配置项设置单副本的数据文件和目录。 在MRS管理控制台,选择“服务管理 > HDFS > 服务配置 > 全部配置”,在右上角搜索“dfs