检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Loader Loader数据导入导出概述 Loader用户权限管理 上传MySQL数据库连接驱动 创建Loader数据导入作业 创建Loader数据导出作业 管理Loader作业 Loader运维管理 Loader算子帮助 客户端工具说明 Loader常见问题
Presto Catalog 配置当前策略使用的Catalog名称。 Presto Schema 配置当前策略使用的数据库名称。 Presto Table 配置当前策略使用的表名称。 Presto Column 配置当前策略使用的列名称。 Description 策略描述信息。
“后端服务器”界面查看ELB与后端服务器连接是否正常。 在MySQL客户端使用ELB访问Doris 登录安装了MySQL的节点,执行以下命令连接Doris,详细操作请参见快速使用Doris: mysql -u数据库登录用户 -p数据库登录用户密码 -PELB前端端口 -hELB公网IP地址
文件进行配置。 Schema:对应数据库的Schema名称。 Table:对应数据库的表名。 HetuEngine连接方式说明 表1 连接方式说明 连接方式 是否支持用户名密码认证方式 是否支持Keytab认证方式 是否支持客户端跨网段访问 使用前提 HSFabric 是 是 是
Studio图形界面客户端”下载Data Studio工具。 使用已创建好的DWS集群中的数据库用户名、密码等信息,参考使用Data Studio工具连接章节连接DWS数据库。 将DWS数据库中的表数据导出到CSV格式文件。 (可选)如果DWS数据库对应的表和数据已经存在,该步骤请忽略。本文通过
大量进程连接到ZooKeeper,导致ZooKeeper连接数被占满,无法对外正常提供服务,导致上游组件(例如Yarn、Flink、Spark等)服务异常。 可能原因 客户端大量进程连接到ZooKeeper,或者自定义阈值设置不合理。 处理步骤 检查客户端是否存在大量进程连接ZooKeeper的情况
操作步骤 使用cdluser用户登录FusionInsight Manager(首次登录需要修改密码),选择“集群 > 服务 > CDL”,单击“CDLService UI”右侧的超链接,进入CDLService WebUI界面。 选择“连接管理 > 新增连接”,进入“新增连接”参数
基于Python3的Hive样例程序 功能介绍 本章节介绍如何使用Python3连接Hive执行数据分析任务。 样例代码 安全模式连接Hive前需要使用集群客户端进行认证,使用kinit命令认证相应权限的Kerberos用户,认证后执行分析任务示例在“hive-examples/
“TextFile”表示使用文本类型文件存储数据。 “SequenceFile”表示使用二进制类型文件存储数据。 “InputFormat”表示使用自定义的输入输出格式来使用文件中的数据。 用户可扩展Hive支持更多的自定义格式化类。 在“InputFormat Class”填写输入数据使用的类“org
实际为准。 元数据 选择“外置数据连接”,并配置以下参数: LakeFormation元数据:单击按钮开启。 LakeFormation连接实例:选择创建LakeFormation数据连接已创建的LakeFormation数据连接名称。 数据连接类型:保持默认。 例如,配置如下图
基于Python3的Hive样例程序 功能介绍 本章节介绍如何使用Python3连接Hive执行数据分析任务。 样例代码 安全模式连接Hive前需要使用集群客户端进行认证,使用kinit命令认证相应权限的Kerberos用户,认证后执行分析任务示例在“hive-examples/
页签,单击“新建作业”。 选择源连接、目的连接: 作业名称:用户自定义任务名称,名称由英文字母、下划线或者数字组成,长度必须在1到256个字符之间。 源连接名称:选择迁移源端集群的HDFS连接,作业运行时将从此端复制导出数据。 目的连接名称:选择迁移目的端集群的HDFS连接,作业运行时会将数据导入此端。
X权限。 DROP DATABASE dbname 拥有数据库dbname的所有权。 ALTER DATABASE dbnameSET OWNERuser_or_role 具有admin权限。 TABLE CREATE TABLE table_a 拥有数据库的CREATE权限。 CREATE
应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight
ClickHouse数据导入 配置ClickHouse对接RDS MySQL数据库 配置ClickHouse对接OBS源文件 同步Kafka数据至ClickHouse 导入DWS表数据至ClickHouse ClickHouse数据导入导出 父主题: 使用ClickHouse
authentication.user 普通模式或者使用密码认证方式时,登录使用的用户。 keytab登录方式,则不需要设置该参数。 bar authentication.password 使用密码认证方式时,登录使用的用户密码。 普通模式或者keytab登录方式,则不需要设置该参数。 用户需要对密码加密,加密方法:
开启Kerberos认证的集群默认使用SSL安全连接,默认端口为9440,并且需要携带参数--secure。 具体的端口值也可通过查询ClickHouseServer实例配置参数“tcp_port_secure”获取。 如果该场景下需要使用非SSL安全连接,则可登录集群FusionInsight
使用Hive Hive用户权限管理 Hive客户端使用实践 快速使用Hive进行数据分析 Hive数据存储及加密配置 Hive on HBase 配置Hive读取关系型数据库数据 Hive企业级能力增强 Hive性能调优 Hive运维管理 Hive常见SQL语法说明 Hive常见问题
到迁移源端集群的连接 在“连接管理”页签,单击“新建连接”。 参考CDM服务的新建连接页面,添加到迁移目的端集群的连接,连接器类型根据实际集群来选择,例如连接器类型选择“MRS HBase”。 (可选)HBase迁移建议使用高权限用户,单击“显示高级属性”,新增迁移所需用户“hadoop
cache table使用指导 问题 cache table的作用是什么?cache table时需要注意哪些方面? 回答 Spark SQL可以将表cache到内存中,并且使用压缩存储来尽量减少内存压力。通过将表cache,查询可以直接从内存中读取数据,从而减少读取磁盘带来的内存开销。