检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ve库目录,则使用的就是hadoop native库中的libcrypto.so,而使用系统自带的libssl.so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。 解决方案 方案一: 修改Spark2x客户端conf目录下spark-default
ve库目录,则使用的就是hadoop native库中的libcrypto.so,而使用系统自带的libssl.so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。 解决方案 方案一: 修改Spark2x客户端conf目录下spark-default
Manager 问题现象 在Mac电脑上无法使用Chrome浏览器访问MRS Manager。 原因分析 由于Mac电脑的证书限制导致无法访问。 处理步骤 复制MRS Manager的登录链接,使用Chrome浏览器访问。 显示MRS Manager登录页面,此时Chrome浏览器暂时还不能登录MRS
导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已在Linux环境中安装了完整客户端。 获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。 URL格式为:https://O
根据堆栈信息,可以看出在检查子目录的权限时失败。 org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkSubAccess(FSPermissionChecker.java:300) 检查HDFS上表目录下所有文件目录的权限,发现
群所支持的所有组件。 版本类型 普通版 待创建的MRS集群版本类型。 集群版本 MRS 3.2.0-LTS.1 待创建的MRS集群版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 组件选择 Hadoop分析集群 基于系统预置的集群模板选择要购买的集群组件。
如何关闭ZooKeeper的SASL认证? 问: 怎么关闭ZooKeeper SASL认证? 答: 登录FusionInsight Manager。 选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”。 在左侧导航栏选择“quorumpeer > 自定义”添加参数名称和值:zookeeper
kinit MRS集群用户 执行以下命令获取指定任务的日志信息。 yarn logs -applicationId 待查看作业的application_ID 父主题: 作业管理类
如何查看MRS作业的日志? MRS Console页面作业管理,每一条作业支持查看日志,包含launcherJob日志和realJob日志。 launcherJob作业的日志,一般会在stderr和stdout中打印错误日志,如下图所示: realJob的日志,可以通过MRS M
Kafka支持的访问协议类型有哪些? 问: Kafka支持的访问协议类型有哪些? 答: Kafka支持四种协议类型的访问,分别为:PLAINTEXT、SSL、SASL_PLAINTEXT、SASL_SSL。 父主题: 组件配置类
来进行统一的日志管理。LogAggregationService在收集日志时会把container产生的本地日志合并成一个日志文件上传到HDFS,在一定程度上可以减少日志文件的数量。但在规模较大且任务繁忙的集群上,经过长时间的运行,HDFS依然会面临存储的日志文件过多的问题。 以
启动,只有如下日志: Presto的coordinator未真正启动即被终止了,不再打印其他日志,查看Presto的其他日志也未发现原因。 原因分析 Presto的健康检查脚本的端口检查逻辑中未做好端口的区分。 处理步骤 使用工具分别登录集群的Master节点执行如下操作。 执行如下命令编辑文件。
节点只挂载了3块数据盘,则data4与data2下的目录合并。如果只挂载了2块数据盘,则data3与data1下的目录合并,data4与data2下的目录合并。 例如,ZooKeeper节点上有4块数据盘,则ZooKeeper的数据目录为“/srv/BigData/data4/z
ve库目录,则使用的就是hadoop native库中的libcrypto.so,而使用系统自带的libssl.so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。 解决方案 方案一: 修改Spark2x客户端conf目录下spark-default
ve库目录,则使用的就是hadoop native库中的libcrypto.so,而使用系统自带的libssl.so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。 解决方案 方案一: 修改Spark2x客户端conf目录下spark-default
拖到右侧的操作界面中并将其连接。 例如采用SpoolDir Source、File Channel和Avro Sink,如图2所示。 图2 Flume配置工具示例 双击对应的Source、Channel以及Sink,根据实际环境并参考表1设置对应的配置参数。 如果对应的Flume
beros认证的集群中提交作业的内置用户名为omm。 hbase shell在开启Kerberos认证的集群提交作业的内置用户名为hbase,在未开启Kerberos认证的集群中提交作业的内置用户名为omm。 Presto在开启Kerberos认证的集群提交作业的内置用户名为om
区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 华北-北京四 计费模式 选择待创建的MRS集群的计费模式。 按需计费 集群名称 待创建的MRS集群名称。 MRS_demo 版本类型 待创建的MRS集群版本类型。 普通版
loader-tool工具支持通过作业模板或参数选项的方式,对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。 本章节适用于MRS 3.x及后续版本。 前提条件
Manager REST API的用户使用。 REST API REST API是访问Web服务器的一套API,REST API接口的执行方式是通过HTTP请求进行的,接收GET、PUT、POST、DELETE等请求并使用JSON数据进行响应。 HTTP请求的格式为:http://<P