检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
目标NameService不同,在二次合并时需要手动清理放入回收站的原表文件,否则会导致合并失败。 此工具应用客户端配置,需要做性能调优可修改客户端配置文件的相关配置。 shuffle设置 对于合并功能,可粗略估计合并前后分区数的变化: 一般来说,旧分区数>新分区数,可设置shu
modifyColumn(final TableName tableName, final HColumnDescriptor column) 修改指定的列簇。 表2 org.apache.hadoop.hbase.client.Table 方法 描述 boolean exists(Get
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
modifyColumn(final TableName tableName, final HColumnDescriptor column) 修改指定的列簇。 表2 org.apache.hadoop.hbase.client.Table 方法 描述 boolean exists(Get
modifyColumn(final TableName tableName, final HColumnDescriptor column) 修改指定的列簇。 表2 org.apache.hadoop.hbase.client.Table 方法 描述 boolean exists(Get
目标NameService不同,在二次合并时需要手动清理放入回收站的原表文件,否则会导致合并失败。 此工具应用客户端配置,需要做性能调优可修改客户端配置文件的相关配置。 shuffle设置 对于合并功能,可粗略估计合并前后分区数的变化: 一般来说,旧分区数>新分区数,可设置shu
modifyColumn(final TableName tableName, final HColumnDescriptor column) 修改指定的列簇。 表2 org.apache.hadoop.hbase.client.Table 方法 描述 boolean exists(Get
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
"node_root_password": "xxx", "log_collection": 1, "mrs_ecs_default_agency": "MRS_ECS_DEFAULT_AGENCY", "tags": [ { "key": "tag1",
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
集群软件配置和硬件配置信息后,在“高级配置”页签的弹性伸缩栏,打开对应Task节点类型后的开关按钮,即可进行弹性伸缩规则及资源计划的配置或修改。 图1 创建集群时配置弹性伸缩 您可以参考以下场景进行配置: 场景一:单独配置弹性伸缩规则 场景二:单独使用资源计划 场景三:弹性伸缩规则与资源计划叠加使用
设置以下属性以优化性能(建议在集群级别进行更改) 设置hive.auto.convert.sortmerge.join = true 设置hive.optimize.bucketmapjoin = true 设置hive.optimize.bucketmapjoin.sortedmerge = true 更改以下内容以调整Tez的资源。
建议使用spark-sql或者在beeline/thriftserver模式下使用spark用户来执行INSERT...SELECT操作,避免执行更改文件owner的操作,从而减少执行INSERT...SELECT语句的时间。 在beeline/thriftserver模式下,execu
HBase采用的接口与Apache HBase保持一致,请参见http://hbase.apache.org/apidocs/index.html。 新增或修改的接口 HBase 0.98.3建议使用org.apache.hadoop.hbase.Cell作为Key-value数据对象,而不是HBase
Yarn运维管理 Yarn常用配置参数 Yarn日志介绍 配置Yarn本地化日志级别 检测Yarn内存使用情况 更改NodeManager的存储目录 父主题: 使用Yarn
Kafka运维管理 Kafka常用配置参数 Kafka日志介绍 更改Broker的存储目录 迁移Kafka节点内数据 均衡Kafka扩容节点后数据 父主题: 使用Kafka
Kafka运维管理 Kafka常用配置参数 Kafka日志介绍 更改Kafka Broker的存储目录 迁移Kafka节点内数据 使用Kafka流控工具限制生产消费速度 配置积压告警规则 父主题: 使用Kafka
Yarn运维管理 Yarn常用配置参数 Yarn日志介绍 配置Yarn本地化日志级别 检测Yarn内存使用情况 更改NodeManager的存储目录 配置Yarn大作业扫描 父主题: 使用Yarn
并校验目录权限。在提交作业之前,应按照默认的NameService文件夹权限更改ViewFS文件夹权限。 下表列出了ViewFS中配置的目录的默认权限结构。如果配置的目录权限与下表不匹配,则必须相应地更改目录权限。 表1 ViewFS中配置的目录的默认权限结构 参数 描述 默认值