检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
系统域名”,例如:zookeeper/hadoop.HADOOP.COM。系统域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数值获取。 zookeeper.sasl.client:如果集群是安全模式,该值设置为“true”,否则设置为“false”,
ght Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”。 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,登录安装客户端的节点。
& TaskManager 表1 JobManager & TaskManager参数说明 参数 描述 默认值 是否必选 备注 taskmanager.memory.size TaskManager在JVM堆内存中保留空间的大小,此内存用于排序,哈希表和中间状态的缓存。如果未指定
kServer实例,并在客户端的“flink-conf.yaml”文件中配置相关参数。 JobManager & TaskManager 表1 JobManager & TaskManager参数说明 参数 描述 默认值 是否必选 taskmanager.rpc.port TaskManager的IPC端口范围。
集群外节点安装客户端 创建一个满足要求的弹性云服务器,要求如下: 已准备一个Linux弹性云服务器,主机操作系统及版本建议参见表2。 表2 参考列表 CPU架构 操作系统 支持的版本号 x86计算 Euler EulerOS 2.5 SUSE SUSE Linux Enterprise
CHILD”。 在程序运行时添加运行参数,分别为hive-site.xml与spark-defaults.conf文件的路径。 运行程序。 查看调试结果 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found
不可以为常见的易破解密码,例如Admin@12345。 不可与最近N次使用过的密码相同,N为密码策略配置中“重复使用规则”的值。此策略只影响“人机”用户。 执行如下命令,可以查看用户的信息。 getprinc 系统内部用户名 例如:getprinc hdfs 确认修改密码的用户,用户类型是哪种? 用户类型为“机机”用户,执行7。
kinit 组件业务用户 执行以下命令切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 执行以下命令使用客户端工具查看帮助并使用。 ./kafka-console-consumer.sh:Kafka消息读取工具 ./kafka-console-producer
右键单击“JDBCExample.java”文件,选择“Run 'JDBCExample.main() ” 图5 运行程序 查看调测结果 IoTDB应用程序运行完成后,可通过IntelliJ IDEA运行结果查看应用程序运行情况。 JDBCExample样例程序运行结果如下所示: ... --------------------------
相关依赖jar包将自动下载,不需手动添加。 当样例代码使用其他FusionInsight组件时,例如Kafka等,请去对应FusionInsight组件的服务端安装目录查找并添加依赖包。样例工程对应的依赖包详情,请参见样例工程运行依赖包参考信息。 (可选)如果导入Scala语言开发的样例程序,还需要为工程设置语言。
及对应账号的keytab文件和krb5文件。 用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 “zookeeper/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写
仅适用于Spark 、Hive 、Flink服务。 操作步骤 登录Manager页面,选择“集群 > 服务 > JobGateway > 实例”,查看所有JobServer实例节点IP。 获取部署了JobServer的节点中,IP最小的节点(以下简称“最小IP节点”)。若最小IP节点更新服务客户端失败,执行3,
规划好新的目录路径,用于保存旧目录中的数据。 准备好MRS集群管理员用户admin。 操作步骤 检查环境。 登录Manager,选择“集群 > 待操作集群的名称 > 服务”查看Yarn的状态“运行状态”是否为“良好”。 是,执行1.c。 否,Yarn状态不健康,执行1.b。 修复Yarn异常,任务结束。 确定修改NodeManager的存储目录场景。
单击链接,如图1所示。 图1 创建目录样例命令 进入到客户端的安装目录下,此处为“/opt/client”,创建名为“huawei”的目录。 执行下列命令,查看当前是否存在名为“huawei”的目录。 hdfs dfs -ls / 执行结果如下: linux1:/opt/client # hdfs
对应该账号的keytab文件和krb5文件。 用户可登录FusionInsight Manager,单击“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 “zookeeper/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写
单击链接,如图1所示。 图1 创建目录样例命令 进入到客户端的安装目录下,此处为“/opt/client”,创建名为“huawei”的目录。 执行下列命令,查看当前是否存在名为“huawei”的目录。 hdfs dfs -ls / 执行结果如下: linux1:/opt/client # hdfs
stream.context。 dstream.context是Streaming Context启动时从output Streams反向查找所依赖的DStream,逐个设置context。若Spark Streaming应用创建1个输入流,但该输入流无输出逻辑时,则不会给它设置
stream.context。 dstream.context是Streaming Context启动时从output Streams反向查找所依赖的DStream,逐个设置context。如果Spark Streaming应用创建1个输入流,但该输入流无输出逻辑时,则不会给它设
待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”,在“搜索”框里搜索“hadoop.ssl.enabled.protocols”,查看参数值是否包含“TLSv1”,若不包含,则在配置项“hadoop.ssl.enabled.protocols”中追加“,TLSv1”。清空“ssl
待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”,在“搜索”框里搜索“hadoop.ssl.enabled.protocols”,查看参数值是否包含“TLSv1”,若不包含,则在配置项“hadoop.ssl.enabled.protocols”中追加“,TLSv1”。清空“ssl