检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果不满足强制覆盖的条件,校验失败。 单击“确定”保存。 在恢复任务列表已创建任务的“操作”列,单击“执行”,开始执行恢复任务。 恢复成功后进度显示为绿色。 恢复成功后此恢复任务不支持再次执行。 如果恢复任务在第一次执行时由于某些原因未执行成功,在排除错误原因后单击“重试”,重试恢复任务。
0及之后版本才支持将备份文件保存到OBS。 单击“确定”保存。 在恢复任务列表已创建任务的“操作”列,单击“执行”,开始执行恢复任务。 恢复成功后进度显示为绿色。 恢复成功后此恢复任务不支持再次执行。 如果恢复任务在第一次执行时由于某些原因未执行成功,在排除错误原因后单击“重试”,重试恢复任务。
下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.JavaDstreamKafkaWriter: Spark版本升级后,推荐使用新接口createDirectStream,老接口createStream仍然存在,但是性能和稳定性差,建议不要使用老接口开发应用程序。
分区的列 inputFormat 输入格式 totalNumberFiles 分区下文件个数 totalFileSize 分区下文件总大小 maxFileSize 最大文件大小 minFileSize 最小文件大小 lastAccessTime 最后访问时间 lastUpdateTime
分区的列 inputFormat 输入格式 totalNumberFiles 分区下文件个数 totalFileSize 分区下文件总大小 maxFileSize 最大文件大小 minFileSize 最小文件大小 lastAccessTime 最后访问时间 lastUpdateTime
enabledAlgorithms”参数值清空。 单击“保存 > 确定”,保存完成后重启Spark2x服务或JobHistory实例。 升级更新节点环境上的curl版本。具体curl版本升级方法如下: 下载curl安装包(http://curl.haxx.se/download/)。 使用如下命令进行安装包解压:
tempt次数(MapReduce默认4次)而失败。 规避手段: 在“客户端安装路径/Yarn/config/yarn-site.xml”文件中修改“yarn.resourcemanager.am-scheduling.node-blacklisting-disable-thre
Browsers > Sqoop”。 默认显示Loader页面中的作业管理界面。 在Loader页面,单击“管理连接”。 单击“新建连接”,参考文件服务器连接,创建sftp-connector。 单击“新建连接”,输入连接名称,选择连接器为hdfs-connector,创建hdfs-connector。
x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 > Hive > 配置 > 全部配置”。 选择“HiveServer(角色) > 自定义”,对参数文件“hive-site.xml”添加自定义参数,设置“名称”为“hive.internaltable.notallowlocation”,“
stHashJoin的Spark任务无法执行,导致超时出现。因此需要在JDBCServer的“spark-defaults.conf”配置文件中调整超时时间。 表1 参数描述 参数 描述 默认值 spark.sql.broadcastTimeout BroadcastHashJo
Hue与Hadoop集群 表1 Hue与其它组件的关系 名称 描述 HDFS HDFS提供REST接口与Hue交互,用于查询、操作HDFS文件。 在Hue把用户请求从用户界面组装成接口数据,通过调用REST接口调用HDFS,通过浏览器返回结果呈现给用户。 Hive Hive提供T
/tmp/spark/JAR/ 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置,修改如下参数: 参数 参数值 spark.jars Jar包路径,例如:hdfs://hacluster/tmp/spark/JAR/spark-test
√ √ x √ 查询补丁列表 √ √ √ √ 安装补丁 √ √ x √ 卸载补丁 √ √ x √ 运维通道授权 √ √ x √ 运维通道日志共享 √ √ x √ 查询告警列表 √ √ √ √ 订阅告警消息提醒 √ √ x √ 提交SQL语句 √ √ x √ 查询SQL结果 √ √ x
及之后的补丁版本中diskmgt服务会检测EVS磁盘(受diskmgt服务监控的磁盘)容量是否增加,如果有增加将则会进行该磁盘下分区(单个分区独占磁盘容量)容量和文件系统的扩容,达到自动扩充磁盘分区存储容量的能力。 安装完成后必须的手动操作 MRS 3.1.5.0.1版本的补丁安装/卸载完成后需要在FusionInsight
afka、Ranger、Presto以及相关依赖服务,滚动重启服务不断服。 MRS 1.9.2.3补丁安装完成之后,需要关闭指标共享,重新打开指标共享。 慢盘隔离特性约束: 隔离慢盘之前无法判断集群节点是否存在客户私有化数据,因此不要在节点数据盘存放个人私有化数据,避免慢盘隔离时对业务造成影响;
进行判断(默认值: false) 支持 支持通配符路径,但不支持以逗号分隔的多个路径。 文件必须以原子方式放置在给定的目录中,这在大多数文件系统中可以通过文件移动操作实现。 Socket Source host:连接的节点ip,必填 port:连接的端口,必填 不支持 - Rate
为保证Hive服务的高可用性、用户数据的安全及访问服务的可控制,在开源社区的Hive-3.1.0版本基础上,Hive新增如下特性: 数据文件加密机制。 开源社区的Hive特性,请参见https://cwiki.apache.org/confluence/display/hive/designdocs。
final String hostName = paraTool.get("hostName"); // 修改hosts文件,使用主机名 final String keytab = paraTool.get("keytab"); //
permissions.enabled”表示是否为HDFS启用权限检查,默认为“true”启用权限检查,请修改为“false”。修改后HDFS中的目录和文件的属主、属组以及权限信息保持不变。 单击“保存”,单击“确定”。 等待界面提示操作完成。 开启Yarn鉴权 登录FusionInsight
7的MySQL软件包。 例如需安装的MySQL 8.0.22客户端需下载如下四个软件包: 将下载的软件包上传到待安装MySQL客户端的节点上。 在上传的文件所在目录执行以下命令,安装MySQL客户端及对应的依赖包: rpm -ivh mysql-community-client-8.0.22-1