检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase服务数据读写示例安全认证(多集群互信场景) 场景说明 当不同的多个Manager系统下安全模式的集群需要互相访问对方的资源时,管理员可以设置互信的系统,使外部系统的用户可以在本系统中使用。每个系统用户安全使用的范围定义为“域”,不同的Manager系统需要定义唯一的域名。跨
数据管理维护 Hudi Clustering操作说明 Hudi Cleaning操作说明 Hudi Compaction操作说明 Hudi Savepoint操作说明 父主题: 使用Hudi
ase表中不存在同名的列,则创建同名的列后角色将拥有该列的权限。列权限设置完成。 否,修改已有HBase角色的列权限,表格将显示已单独设置权限的列,执行5。 角色新增列权限,在“资源名称”的输入框输入列名称并设置列的权限。角色修改列权限,可以在“资源名称”的输入框输入列名称并设置
WebUI无法正常刷新损坏数据的信息 NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象 为什么DataNode无法正常上报数据块 是否可以手动调整DataNode数据存储目录 DataNode的容量计算出错如何处理 为什么存储小文件过程中,缓存中的数据会丢失
Oozie常见问题 Oozie定时任务没有准时运行如何处理 HDFS上更新了oozie的share lib目录但没有生效 Oozie作业执行失败常用排查手段 父主题: 使用Oozie
在工作环境完成网络配置。 需要查看处理数据的拓扑,提交时已启用采样功能。 查看worker进程日志 访问Storm的WebUI,请参考访问Storm的WebUI。 在“Topology Summary”区域单击指定的拓扑名称,打开拓扑的详细信息。 单击要查看日志的“Spouts”或“Bolts”任务,在“Executors
Flink用户权限管理 Flink安全认证机制说明 Flink用户权限说明 创建FlinkServer权限角色 配置Flink对接Kafka安全认证 配置Flink认证和加密 父主题: 使用Flink
当合并SummingMergeTree表的数据片段时,ClickHouse会把所有具有相同主键的行合并为一行,该行包含了被合并的行中具有数值数据类型的列的汇总值。如果主键的组合方式使得单个键值对应于大量的行,则可以显著减少存储空间并加快数据查询的速度。 建表语法: CREATE TABLE
Oozie多个节点同时提供服务的时候,通过ZooKeeper来提供高可用(HA)功能,防止单节点故障以及多节点同时处理一个任务。 本章节内容仅适用于MRS 3.1.2及之后版本。 对系统影响 操作过程中需要重启Oozie服务。重启过程中,Oozie服务无法提供服务。 前提条件 已安装O
使用hive-table方式同步数据到obs上的hive表报错 使用hive-table方式同步数据到orc表或者parquet表失败 使用hive-table方式同步数据报错 使用hcatalog方式同步hive parquet表报错 使用Hcatalog方式同步Hive和MySQL之间的数据,timestamp和data类型字段会报错
--max_log_files 进程日志的最大文件个数。 10 - --max_log_size 进程的日志文件大小最大值,单位 MB。 200 - statestored.customized.configs Statestored进程的自定义配置项。 - - catalogd
Impala常见问题 Impala服务是否支持磁盘热插拔 父主题: 使用Impala
HDFS常用配置参数 HDFS日志介绍 查看HDFS容量状态 更改DataNode的存储目录 调整DataNode磁盘坏卷信息 配置HDFS token的最大存活时间 使用distcp命令跨集群复制HDFS数据 配置NFS服务器存储NameNode元数据 父主题: 使用HDFS
Yarn运维管理 Yarn常用配置参数 Yarn日志介绍 配置Yarn本地化日志级别 检测Yarn内存使用情况 更改NodeManager的存储目录 父主题: 使用Yarn
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 202 在MRS集群中终止指定作业成功 400 在MRS集群中终止指定作业失败
版本元数据查询 展示MRS版本列表 查询MRS集群版本可用的规格 父主题: API V2
提交Spark任务时提示参数格式错误 问题现象 用户在使用Spark组件时,提交集群任务运行失败,提示参数格式错误。 原因分析 执行的命令包含了非法字符。 上传的jar包属主属组异常。 处理步骤 检查用户执行命令./bin/spark-submit --class cn.interf.Test
gcInterval=0x7FFFFFFFFFFFFFE。 解决办法 针对memstore、cache修改配置参数后,重启HBase服务成功。 针对GC_OPTS配置错误,修改参数后重启HBase服务成功。 父主题: 使用HBase
残留进程导致Regionsever启动失败 问题现象 HBase服务启动失败,健康检查报错。 原因分析 查看启动HBase服务时manager页面的详细打印信息,提示the previous process is not quit。 解决办法 登录节点,后台通过执行ps -ef |
HDFS客户端调用close关闭文件,NameNode收到客户端的close请求之后就会检查最后一个块的完成状态,只有当有足够的DataNode上报了块完成才可用关闭文件,检查块完成的状态是通过checkFileProgress函数检查的,打印如下: 2015-05-27 19:00:27,603