检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CarbonData首查优化工具 工具介绍 CarbonData的首次查询较慢，对于实时性要求较高的节点可能会造成一定的时延。 本工具主要提供以下功能： 对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端，例如安装目录为“/opt/client”。进入目录“/op
使用BulkLoad工具查询HBase表的行统计数 操作场景 HBase BulkLoad工具支持根据rowkey的命名规则、rowkey的范围、字段名以及字段值统计符合条件的行数。 操作步骤 直接执行如下命令统计满足如下条件的行数。rowkey在从“row_start”到“ro
开源confluent-kafka-go连接MRS安全集群 用户问题 开源confluent-kafka-go如何连接MRS的安全集群？ 问题现象 开源confluent-kafka-go连接MRS的安全集群失败。 原因分析 confluent-kafka-go依赖的库librd
使用Spark小文件合并工具说明 工具介绍 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因
ALM-27005 数据库连接数使用率超过阈值 告警解释 系统每30秒周期性检查DBServer节点的数据库连接数使用率，并把实际数据库连接数使用率和阈值相比较，当数据库连接数的使用率连续5次（可配置，默认值为5）超过设定阈值时，系统将产生此告警，数据库连接数使用率的阈值设为90%（可配置，默认值为90%）。
通过sqoop import命令从PgSQL导出数据到Hive时报错 背景 使用sqoop import命令抽取开源PgSQL数据库内容到MRS HDFS或Hive中。 用户问题 使用sqoop命令可以查询PgSQL表，但是执行sqoop import命令导入导出时报错： The
使用具有Doris管理权限的用户通过MySQL客户端连接到Doris。 执行以下命令创建数据库example_db： create database if not exists example_db; 执行以下命令查看数据库信息： SHOW DATABASES; mysql> SHOW DATABASES;
使用Spark小文件合并工具说明 工具介绍 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因
CarbonData首查优化工具 工具介绍 CarbonData 的首次查询较慢，对于实时性要求较高的节点可能会造成一定的时延。 本工具主要提供以下功能： 对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端，例如安装目录为“/opt/client”。进入 目录“/
StarRocks既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。 StarRocks兼容MySQL协议，可使用MySQL客户端和常用BI工具对接进行数据分析，同时StarRocks具备水平扩展、高可用、高可靠、易运维等特性，广泛应用于实时数仓、OLAP报表、数据湖分析等场景。
schedule-tool工具使用示例 操作场景 通过Loader WebUI或客户端工具Loader-tool创建好作业后，可使用schedule-tool工具执行作业。 前提条件 完成了Loader客户端的安装与配置，具体操作请参见使用客户端运行Loader作业。 操作步骤
处理该故障。 在告警列表中，查看该告警是否清除。 是，处理完毕。 否，执行4。 查看元数据库是否异常。 联系集群元数据库管理员查看元数据库是否有异常。 是，执行5。 否，执行6。 联系元数据库运维人员修复。元数据恢复正常后在告警列表中查看该告警是否清除。 是，处理完毕。 否，执行6。
schedule-tool工具使用示例 操作场景 通过Loader WebUI或客户端工具Loader-tool创建好作业后，可使用schedule-tool工具执行作业。 本章节适用于MRS 3.x及后续版本。 前提条件 完成了Loader客户端的安装与配置，具体操作请参见使用命令行运行Loader作业。
如客户端发起请求，但是未得到响应。由于不确定任务是卡在客户端还是服务端，可以通过审计日志查看。如果审计日志根本没有相关信息，那么说明任务终止在客户端；如果审计日志有相关信息打印，那么就需要去运行日志里进一步定位原因。 查看指定时间段的任务请求个数，可通过审计日志查看在指定时间段有多少个请求。 HiveServer运行日志
连接器 选择“mysql-fastpath-connector”。 须知： 使用mysql-fastpath-connector时，要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令，并且此两个命令所属MySQL客户端版本与MySQL服务器版
Presto应用开发简介 Presto简介 Presto是一种开源、分布式SQL查询引擎，用于对千兆字节至PB级大小的数据源进行交互式分析查询。 Presto主要特点如下： 多数据源：Presto可以支持Mysql，Hive，JMX等多种Connector。 支持SQL：Presto完全支持ANSI
该配置仅用于MySQL专用连接器，当数据列内容中包含默认分隔符时，需要设置自定义分隔符，否则会出现数据错乱。 string 否 \n 输出字段 配置关系型数据库输出字段的相关信息： 字段名：配置输出字段的字段名。 表列名：配置数据库表的列名。 类型：配置字段类型，需要和数据库的字段类型一致。
使用Spark BulkLoad工具同步数据到HBase表中 Spark BulkLoad工具支持快速同步Hive或Spark表数据到HBase表中，支持全量或增量导入ORC/PAQUET等格式的表数据。 使用Spark BulkLoad同步数据类型数据到HBase表中时，存在以下限制：
通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据，然后直接写到OBS，指定parquet格式时写入报错，不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3，用Hcatalog方式写入。
kinit Hive业务用户 执行以下命令登录客户端工具。 beeline 执行以下命令更新用户的管理员权限。 set role admin; 创建库表操作 在“Policy Name”填写策略名称。 “database”右侧填写或选择对应的数据库(如果是创建表则在“table”右侧填写或
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
