检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WITH SERDEPROPERTIES("hbase.columns.mapping" = "cf1:id,cf1:name,:key") TBLPROPERTIES ("hbase.table.name" = "thh"); 创建好的Hive表和HBase表分别保存在Hive的数据库“
-- 连接数据库的信息 --> <sqoop.connection name="vt_sftp_test" type="sftp-connector"> <connection.sftpServerIp>10.96.26.111</connection.sftpServerIp>
hetu-cli --catalog 数据源名称 --schema 数据库名 例如执行以下命令: hetu-cli --catalog hbase_1 --schema default 执行以下命令,可正常查看数据库表信息或不报错即表示连接成功。
访问FusionInsight Manager(MRS 3.x及之后版本) 操作场景 MRS 3.x及之后版本的集群使用FusionInsight Manager对集群进行监控、配置和管理。用户在集群安装后可使用账号登录FusionInsight Manager。 当前支持以下几种方式访问
处理步骤 检查ClickHouse业务压力是否过大 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的库名、表名、角色名以及确认主机名所在的IP地址。
TimelineServer会将数据保存到内存数据库LevelDB中,占用大量内存,安装TimelineServer的节点内存至少需要预留30GB。 父主题: YARN
-- 连接数据库的信息 --> <sqoop.connection name="vt_sftp_test" type="sftp-connector"> <connection.sftpServerIp>10.96.26.111</connection.sftpServerIp>
HBase作业失败或者脏数据丢失 /user/loader/etl_dirty_data_dir /user/loader/etl_hbase_putlist_tmp /user/loader/etl_hbase_tmp /user/oozie 固定目录 存放oozie运行时需要的依赖库,
default:表示创建的表名放到哪个数据库下面,在创建表时需要根据实际情况进行替换。
访问MRS集群Manager(2.x及之前版本) 访问MRS集群Manager场景 MRS集群提供Manager对集群进行监控、配置和管理,用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager,请根据实际情况进行选择: 通过弹性IP访问
访问MRS集群Manager 访问MRS集群Manager场景 MRS集群提供Manager对集群进行监控、配置和管理,用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager,请根据实际情况进行选择: 通过弹性IP访问FusionInsight
随着时间的推移,如果一行数据满足:当前时间-时间列值 > COLD_BOUNDARY设置的值,则会在执行Compaction时被归档到冷存储(OBS)中。 插入记录。 执行“put”命令向指定表插入一条记录,需要指定表的名称,主键,自定义列,及插入的具体值。
MRS 1.7.1.6补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.7.1.6 发布时间 2019-01-24 解决的问题 MRS 1.7.1.6修复问题列表: MRS Manager MRS服务启动、停止及重启支持显示依赖关系,并自定义重启哪些服务。 MRS Manager
90 表4 集群监控指标转告警列表 服务 监控指标组名称 监控指标名称 指标含义 默认阈值 DBService 数据库 数据库连接数使用率 数据库连接数使用率统计。 90% 数据目录磁盘空间使用率 数据目录磁盘空间使用率统计。
90 表3 集群监控指标转告警列表(未开启分级告警开关) 服务 监控指标名称 告警ID 告警名称 告警对系统的影响 默认阈值 DBService 数据库连接数使用率 27005 数据库连接数使用率超过阈值 可能导致上层服务无法连接DBService的数据库,影响正常业务。
根据实际需求指定业务用户名(集群未启用Kerberos认证(普通模式)使用root用户登录): 指定业务用户名,则输入“yes”,并根据提示输入业务用户名和对应的业务用户密码: 不指定业务用户名,则输入“no”;此时,则使用1.d中的用户执行后续操作: 输入其他,则退出登录: 根据图1创建存储组/数据库(
Guardian 直接重启 请求Guardian失败,任务拿不到访问OBS的aksk 直接重启耗时约5分钟 滚动重启 滚动重启无影响 滚动重启10个节点耗时约10分钟 IoTDB 直接重启 重启期间无法进行数据的写入 直接重启耗时约5分钟 滚动重启 会影响数据的写入,在滚动重启前需停止写入数据
如果使用Import/Export命令导入导出其他用户创建的表或分区,需要授予用户对应表的权限: 集群未启用Ranger鉴权,需登录FusionInsight Manager授予该用户所属角色对应表的“Select授权”权限,详细操作请参考配置Hive表、列或数据库的用户权限章节。
Hudi数据表Compaction规范 mor表更新数据以行存log的形式写入,log读取时需要按主键合并,并且是行存的,导致log读取效率比parquet低很多。为了解决log读取的性能问题,Hudi通过compaction将log压缩成parquet文件,大幅提升读取性能。 规则
8 物理CPU使用百分比 建议预留适量的CPU给操作系统和其他进程(数据库、HBase等)外,剩余的CPU核都分配给YARN。可以通过如下配置参数进行调整。