检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink客户端常见命令说明 在使用Flink的Shell脚本前,首先需要执行以下操作,详细使用场景可参考Flink客户端使用实践运行wordcount作业: 安装Flink客户端,例如安装目录为“/opt/client”。 初始化环境变量。 source /opt/client/bigdata_env
客户端工具说明 使用命令行运行Loader作业 loader-tool工具使用指导 loader-tool工具使用示例 schedule-tool工具使用指导 schedule-tool工具使用示例 使用loader-backup工具备份作业数据 开源sqoop-shell工具使用指导
前提条件 已安装客户端,例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 MRS 3.x及之后版本的Impala客户端节点(Euler2.9及以上操作系统)需要安装Python2版本,具体请参考Impala客户端安装Python2。
确保用户已授权访问作业执行时操作的目录、HBase表和数据。 获取外部数据源(SFTP服务器或关系型数据库)使用的用户和密码。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从HDFS/OBS导出数据时,确保HDFS/OBS数据源的输入路径目录名、输入路径的子目录
典型场景:从Hive导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从Hive导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检查磁
时需要进行安全认证。 使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。可以用于防止窃听、防止replay攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。 结构
因为每个分区只能分配一个消费者。 Kafka数据同步至ClickHouse操作示例 参考Kafka客户端使用实践,切换到Kafka客户端安装目录。 以Kafka客户端安装用户,登录Kafka安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。
放开远端主机的22端口。 密码填写错误 请检查密码是否正确,密码中不能有特殊符号。 远端主机开启防火墙 先将这个MRS集群客户端下载到服务器端主机,然后通过Linux提供的scp命令复制到远端主机。 父主题: 集群管理类
table用于加载数据和执行查询操作。 加载数据到CarbonData Table 创建CarbonData table之后,可以从CSV文件加载数据到所创建的table中。 在CarbonData中查询数据 创建CarbonData table并加载数据之后,可以执行所需的查
主要作用:对于数据导入到集群的场景来说,就是从外部数据源读取数据;对于数据从集群导出去的场景来说,就是将数据写入到外部数据源。上述示例配置的是一个SFTP数据源连接器。配置SFTP和FTP的数据源连接器需要设置密码并进行加密。密码加密方法如下: 执行以下命令,进入到loader-tools-1
模式不需要)。 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录已安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命
使用Loader从关系型数据库导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。
在“客户端管理”界面选择待操作的客户端,单击“导出全部”可导出所有已注册的客户端信息到本地。 客户端管理界面上组件列表栏只展示有真实客户端的组件,因此部分没有客户端的组件和客户端特殊的组件不会显示在组件列表栏。 父主题: 管理MRS集群客户端
前提条件 已安装客户端,例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 MRS 3.x及之后版本的Impala客户端节点(Euler2.9及以上操作系统)需要安装Python2版本,具体请参考Impala客户端安装Python2。
使用Hadoop客户端删除OBS上数据时报.Trash目录没有权限错误 问题描述 执行hadoop fs -rm obs://<obs_path>出现如下报错: exception [java.nio.file.AccessDeniedException: user/root/.Trash/Current/:
ClickHouse客户端执行SQL查询时报内存不足如何处理? 问题现象 ClickHouse会限制group by使用的内存量,在使用ClickHouse客户端执行SQL查询时报如下错误: Progress: 1.83 billion rows, 85.31 GB (68.80
待操作集群的名称 > 服务 > Flume”进入Flume服务界面,在右上角选择“更多 > 下载客户端”,选择“选择客户端类型”为“完整客户端”,下载Flume服务客户端文件。 客户端文件名称为“FusionInsight_Cluster_<集群ID>_Flume_Client.
使用loader-backup工具备份作业数据 操作场景 通过Loader WebUI或客户端工具loader-tool创建好作业后,可使用loader-backup工具进行数据备份。 仅有数据导出的Loader作业才支持数据备份。 此工具为Loder的内部接口,供上层组件HBase调用,只支持HDFS到SFTP的数据备份。
使用loader-backup工具备份作业数据 操作场景 通过Loader WebUI或客户端工具loader-tool创建好作业后,可使用loader-backup工具进行数据备份。 仅有数据导出的Loader作业才支持数据备份。 此工具为Loder的内部接口,供上层组件HBase调用,只支持HDFS到SFTP的数据备份。
set:”选择“UTF-8”。 单击“Open”登录云服务器。 如果首次登录云服务器,PuTTY会显示安全警告对话框,询问是否接受服务器的安全证书。单击“是”将证书保存到本地注册表中。 建立到云服务器的SSH连接后,根据提示输入用户名和密码登录弹性云服务器。 用户名、密码分别是root和创建集群时设置的密码。