检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume客户端无法连接服务端 问题现象 安装Flume客户端并设置Avro Sink与服务端通信,发现无法连接Flume服务端。 原因分析 服务端配置错误,监测端口启动失败,例如服务端Avro Source配置了错误的IP,或者已经被占用了的端口。 查看Flume运行日志: 2016-08-31
配置Flume对接安全模式Kafka 使用Flume客户端对接安全kafka。 新增jaas.conf文件,并保存到“${Flume客户端安装目录}/conf”下,jaas.conf文件内容如下: KafkaClient { com.sun.security.auth.module
使用MRS客户端 安装MRS客户端 更新MRS客户端 父主题: 附录
客户端使用类 如何关闭ZooKeeper的SASL认证? 在MRS集群外客户端中执行kinit报错“Permission denied”如何处理? ClickHouse客户端执行SQL查询时报内存不足如何处理? MRS如何连接spark-shell? MRS如何连接spark-beeline?
SSH私钥:选择并上传创建集群时使用的密钥文件。 图1 下载客户端 单击“确定”开始生成客户端文件。 若界面显示以下提示信息表示客户端包已经成功保存。单击“关闭”。客户端文件请到下载客户端时设置的远端主机的“存放路径”中获取。 下载客户端文件到远端主机成功。 若界面显示以下提示信息,请检查用
AS t5 ON o.order_id = t5.id; 多流Join场景流表个数不超过三个 当Join表过多时,状态后端压力太大会导致端到端时延增加。 【示例】实时Join维表数3个: CREATE TABLE table1(id int, param1 string) with(
下载客户端”,弹出“下载客户端”信息提示框。 “选择客户端类型”中选择“完整客户端”。 “仅配置文件”下载的客户端配置文件,适用于应用开发任务中,完整客户端已下载并安装后,管理员通过Manager界面修改了服务端配置,开发人员需要更新客户端配置文件的场景。 平台类型包括x86_64和aarch64两种:
减少OBS服务端压力,提升数据读取性能的目标。 MemArtsCC会将数据持久化存储到计算侧的存储中(SSD),Hadoop-OBS对接MemArtsCC有如下使用场景: 减少OBS服务端压力 MemArtsCC会将热点数据存储在计算侧集群,可以起到降低OBS服务端带宽的作用。 提升存算分离架构访问数据的性能
户第一次登录时需修改密码。(普通模式不涉及) 操作步骤 根据业务情况,准备好客户端,登录安装客户端的节点。 请根据客户端所在位置,参考安装客户端章节,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。
客户端工具说明 使用命令行运行Loader作业 loader-tool工具使用指导 loader-tool工具使用示例 schedule-tool工具使用指导 schedule-tool工具使用示例 使用loader-backup工具备份作业数据 开源sqoop-shell工具使用指导
集群外部节点:用户可以将客户端安装在集群外部节点上,详情请参见集群外节点使用MRS客户端章节,登录安装客户端的节点。 使用Spark客户端 登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
客户端工具说明 使用客户端运行Loader作业 loader-tool工具使用指导 loader-tool工具使用示例 schedule-tool工具使用指导 schedule-tool工具使用示例 使用loader-backup工具备份作业数据 开源sqoop-shell工具使用指导
更新MRS客户端 集群提供了客户端,可以在连接服务端、查看任务结果或管理数据的场景中使用。用户如果在Manager修改了服务配置参数并重启了服务,已安装的客户端需要重新下载并安装,或者使用配置文件更新客户端。 更新客户端配置 方法一: 访问集群Manager,在“集群”下拉列表中单击需要操作的集群名称。
创建HBase客户端连接 功能介绍 HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器
创建HBase客户端连接 功能介绍 HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器
n2。 操作步骤 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 运行Impala客户端命令,实现A业务。 内部表的操作: 直接执行Impa
b文件。“人机”用户第一次登录时需修改密码。(普通模式不涉及) 使用HDFS客户端 安装客户端,详细操作请参考使用MRS客户端。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source
安装目录修改。 使用Flink客户端 安装客户端。 以在集群内节点安装客户端为例: 登录Manager,在“集群”下拉列表中单击需要操作的集群名称,选择“更多 > 下载客户端”,弹出“下载集群客户端”信息提示框。 选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅
管理MRS集群客户端 服务端配置过期后更新MRS集群客户端 查看已安装的MRS集群客户端 批量升级MRS集群客户端 父主题: 管理MRS集群
安装Flume客户端 获取软件包。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Flume”进入Flume服务界面,在右上角选择“更多 > 下载客户端”,选择“选择客户端类型”为“完整客户端”,下载Flume服务客户端文件。 客户端文件名称