检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Loader从关系型数据库导入数据到HBase 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取关系型数据库使用的用户和密码。
ALM-16052 MetaStore创建表时访问元数据库时延超过阈值 告警解释 系统周期性检测MetaStore创建表时访问元数据库时延,当最近5分钟创建表的平均时延超过阈值时上报告警。 当最近5分钟创建表的平均时延小于阈值时,告警恢复。 该章节适用于MRS 3.5.0及之后版本。
使用Loader从关系型数据库导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检
ClickHouse数据库应用开发 在ClickHouse的使用过程中,由于使用不规范的方式访问和查询,导致业务失败的情况时有发生。此外,偶尔也会发生因为网络闪断等导致连接和查询失败的情况。 MRS提供了ClickHouse的样例代码工程,旨在提供连接重试机制和规范化用户连接和查询的方法,从而
使用Loader从HDFS/OBS导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。
ClickHouse数据库开发 ClickHouse数据入库工具 ClickHouse数据入库规范 ClickHouse数据查询 ClickHouse数据库应用开发 父主题: ClickHouse应用开发规范
的HDFS ACL权限。 数据库授权 用户在Hive和HDFS中对自己创建的数据库拥有完整权限,用户访问别人创建的数据库,需要授予权限。授予权限时只需要授予Hive元数据权限,HDFS文件权限将自动关联。以授予用户对应角色在数据库“hdb”中查询和创建表的权限为例,操作步骤如下,不支持对角色授予数据库其他的操作权限:
使用Loader从关系型数据库导入数据到ClickHouse 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到ClickHouse,本章节以MySQL为例进行操作。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 ClickHouse表已创建,确保用户已授权访问作业执行时操作该表的权限。
典型场景:从Hive导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从Hive导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检查磁盘空间
创建ClickHouse库 本章节介绍创建ClickHouse库样例代码。 以下代码片段在com.huawei.clickhouse.examples包的“Demo”类的createDatabase方法中。 通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。
ClickHouse数据库设计 ClickHouse DataBase设计 ClickHouse表引擎适用场景说明 父主题: ClickHouse应用开发规范
创建MRS集群 场景描述 本章节指导用户通过API创建一个MRS分析集群。API的调用方法请参见如何调用API。 约束限制 已在待创建集群区域通过虚拟私有云服务创建VPC,子网。创建VPC请参考查询VPC列表和创建VPC。创建子网请参考查询子网列表和创建子网。 已获取待创建集群区
执行Kafka Topic创建操作时发现无法创建提示“NoAuthException” 问题背景与现象 在使用Kafka客户端命令创建Topic时,发现Topic无法被创建。 kafka-topics.sh --create --zookeeper 192.168.234.231:2181/kafka
--password '密码'--port ClickHouse的端口号 --secure --multiline 执行以下命令创建复制表和分布式表。 创建复制表“default.test1”。 CREATE TABLE default.test1 on cluster default_cluster
ClickHouse在创建表时建议携带PARTITION BY创建表分区。因为ClickHouse数据迁移工具是基于表的分区作数据迁移,在创建表时如果不携带PARTITION BY创建表分区,则在集群内ClickHouseServer节点间数据迁移界面无法对该表进行数据迁移。 方法二:创建一个与database_name2
包含Hudi服务的客户端已安装,例如安装路径为:/opt/client。 Flink要求1.12.2及以后版本,Hudi要求0.9.0及以后版本。 参考创建FlinkServer权限角色创建一个具有FlinkServer管理员权限的用户用于访问Flink WebUI,如:flink_admin。并且用户需要添加
配置Hive读取关系型数据库 操作场景 Hive支持创建与其他关系型数据库关联的外表。该外表可以从关联到的关系型数据库中读取数据,并与Hive的其他表进行Join操作。 目前支持使用Hive读取DB2和Oracle两种关系型数据库的数据。 前提条件 已安装Hive客户端。 操作步骤
ClickHouse数据库运维 ClickHouse日志管理 ClickHouse日志管理规则 ClickHouse日志详细信息 父主题: ClickHouse应用开发规范
通过Sqoop迁移数据库数据时报错 用户问题 MRS Sqoop迁移数据库数据报错如下: Communications link failure; The driver has not received any packets from the server; 源端为DWS数据库时报错如下:
的HDFS ACL权限。 数据库授权 用户在Hive和HDFS中对自己创建的数据库拥有完整权限,用户访问别人创建的数据库,需要授予权限。授予权限时只需要授予Hive元数据权限,HDFS文件权限将自动关联。以授予用户对应角色在数据库“hdb”中查询和创建表的权限为例,操作步骤如下,不支持对角色授予数据库其他的操作权限: