检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
60 加密 Spark支持Akka和HTTP(广播和文件服务器)协议的SSL,但WebUI和块转移服务仍不支持SSL。 SSL必须在每个节点上配置,并使用特殊协议为通信涉及到的每个组件进行配置。
HDFS HTTP REST API接口介绍 功能简介 REST应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请参考官网上的描述以了解其使用: http://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist
60 加密 Spark支持Akka和HTTP(广播和文件服务器)协议的SSL,但WebUI和块转移服务仍不支持SSL。 SSL必须在每个节点上配置,并使用特殊协议为通信涉及到的每个组件进行配置。
使用Impala操作Kudu表 您可以使用Impala的SQL语法插入、查询、更新和删除Kudu中的数据,作为使用Kudu API构建自定义Kudu应用程序的替代方案。 前提条件 已安装集群完整客户端。例如安装目录为“/opt/Bigdata/client”,以下操作的客户端目录只是举例
HBase访问多ZooKeeper场景安全认证 场景说明 在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper时,为了避免访问连接ZooKeeper认证冲突,提供了样例代码使HBase客户端访问FusionInsight ZooKeeper
ZooKeeper与其他组件的关系 ZooKeeper和HDFS的关系 ZooKeeper与HDFS的关系如图1所示。 图1 ZooKeeper和HDFS的关系 ZKFC(ZKFailoverController)作为一个ZooKeeper集群的客户端,用来监控NameNode的状态信息
准备本地应用开发环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装
version (GET) 描述 获取服务器WebHCat的版本 URL http://www.myserver.com/templeton/v1/version 参数 无 返回结果 参数 描述 supportedVersions 所有支持的版本 version 当前服务器WebHCat
HDFS HTTP REST API接口介绍 功能简介 REST应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请参考官网上的描述以了解其使用:http://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist
HDFS与其他组件的关系 HDFS和HBase的关系 HDFS是Apache的Hadoop项目的子项目,HBase利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日志文件
FlinkSQL Elasticsearch表开发建议 FlinkSQL Elasticsearch作业,参数配置如下: 表1 Flink作业With属性 参数 是否必选 数据类型 描述 connector 必选 String 指定要使用的连接器,如elasticsearch-7,
ALM-45652 Flink服务不可用 本章节适用于MRS 3.3.0及以后版本。 告警解释 告警模块按60秒周期检测Flink服务状态。当检测到Flink服务不可用时产生该告警。Flink服务恢复时,告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 45652 紧急 是
云服务:选择“弹性云服务器 ECS 裸金属服务器 BMS”。 持续时间:选择“永久”。 图4 创建委托 在弹出授权页面的搜索框内,搜索“OBS OperateAccess”策略,并勾选“OBS OperateAccess”策略。
添加Storm的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Storm用户进行相关的权限设置。 前提条件 已安装Ranger服务且服务运行正常。 已创建用户需要配置权限的用户、用户组或Role。 页面已启用Ranger鉴权开关,该按钮控制是否启用Ranger
ALM-13001 ZooKeeper可用连接数不足(2.x及以前版本) 告警解释 系统每30秒周期性检测ZooKeeper服务连接数状态,当检测到ZooKeeper实例连接数超出阈值(最大连接数的百分之八十)时产生该告警。 连接数小于阈值时,告警恢复。 告警属性 告警ID 告警级别
导入DWS表数据至ClickHouse ClickHouse支持CSV、JSON等格式文件的数据导入导出操作。本章节主要介绍怎么把DWS数据仓库服务中的表数据导出到CSV文件,再把CSV文件数据导入到ClickHouse表中。 前提条件 ClickHouse集群和实例状态正常。 DWS
仅支持删除状态异常的ecs节点。会针对指定节点进行强制删除。可通过查询主机接口获取resource_id。
Flume常用配置参数 部分参数可在Manager界面配置。 使用Flume需要配置Source、Channel和Sink,各模块配置参数说明可通过本节内容了解。 MRS 3.x及之后版本部分参数可通过Manager界面配置,选择“集群 > 服务 > Flume > 配置工具”,选择要使用的
main] client.HBaseAdmin: Operation: DELETE, Table Name: default:TEST, procId: 64 completed 在Linux中调测Phoenix样例 在linux环境中调测Phoenix样例,需有与集群环境网络相通的ECS
导入DWS表数据至ClickHouse ClickHouse支持CSV、JSON等格式文件的数据导入导出操作。本章节主要介绍怎么把DWS数据仓库服务中的表数据导出到CSV文件,再把CSV文件数据导入到ClickHouse表中。 前提条件 ClickHouse集群和实例状态正常。 DWS