检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
处理步骤 下载json-serde-1.3.8-jar-with-dependencies.jar到本地,并将该Jar上传到所有的HiveServer所在节点。 以客户端安装用户,登录1上传了Jar包并且安装了Hive和HDFS客户端的节点。 执行以下命令认证用户。
设置后需要重新下载客户端配置,否则HDFS无法提供读写服务。 设置Hadoop中各模块的RPC通道是否加密。通道包括: 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道,如DataNode与NameNode间的RPC通道。 客户端访问Yarn的RPC通道。
String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment // 设置job的并发度为2 env.setParallelism(2) //设置Zookeeper为注册服务器
作用二:连接建立后,一个会话的超时时间,如ZooKeeper上注册的临时节点BrokerId,当Broker被停止,则该BrokerId,会经过一个sessionTimeout才会被ZooKeeper清理。
从KDC服务器上下载用户keytab,并将keytab放到Flink客户端所在主机的某个文件夹下(例如/home/flinkuser/keytab)。
ZooKeeper服务端开启SSL通道加密传输,需重新下载客户端。 ZooKeeper配置开启SSL通道加密传输,不支持滚动重启。
如果通过开源镜像站方式获取的样例工程代码,在配置好Maven后(配置方式参考配置华为开源镜像仓), 相关依赖jar包将自动下载,不需手动添加。 将工程中的conf目录添加到资源路径。 在Intellij IDEA的菜单栏选择“File > Project Structure”。
设置后需要重新下载客户端配置,否则HDFS无法提供读写服务。 设置Hadoop中各模块的RPC通道是否加密。通道包括: 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道,如DataNode与NameNode间的RPC通道。 客户端访问Yarn的RPC通道。
注册Hive、HBase、GaussDB A等数据源。
* to 'maxwell'@'localhost'; 安装Maxwell 下载安装包,下载路径为https://github.com/zendesk/maxwell/releases,选择名为maxwell-XXX.tar.gz的二进制文件下载,其中XXX为版本号。
操作步骤 MRS 3.x之前版本: 从MySQL官网下载MySQL jdbc驱动程序“mysql-connector-java-5.1.21.jar”,具体MySQL jdbc驱动程序选择参见下表。
在MRS Manager界面选择“系统设置 > 用户管理”,在用户名中选择flinkuser,单击操作中下载认证凭据文件,保存后解压得到用户的keytab文件与krb5.conf文件,并将krb5.conf文件拷贝到客户端机器的/etc目录下。
* to 'maxwell'@'localhost'; 安装Maxwell 下载安装包,下载路径为https://github.com/zendesk/maxwell/releases,选择名为maxwell-XXX.tar.gz的二进制文件下载,其中XXX为版本号。
在FusionInsight Manager首页,选择“运维 > 日志 > 下载”。 在“服务”勾选待操作集群的HDFS节点信息。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Flume”。 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“LdapClient”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。
MRS 删除MRS集群 00:53 删除MRS集群 MapReduce服务 MRS 提交MapReduce作业 02:11 提交MapReduce作业 MapReduce服务 MRS MRS集群健康检查 03:25 MRS集群健康检查 MapReduce服务 MRS 在线检索和下载
如果需要在Spark2x客户端用Spark on HBase功能,需要重新下载并安装Spark2x客户端。
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HBase”。 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Kafka”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。