检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
或“/user/hbase/backup”。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 单击“确定”保存。 在备份任务列表中已创建任务的“操作”列,选择“更多 > 即时备份”,开始执行备份任务。 备份任务执行完成后,系统自动在备份目录中为每个备份任务创建子目录,目录
统支持“提示”、“拦截”操作。对于规则类型为运行熔断的SQL防御规则,系统支持“熔断”操作。 规则添加成功后,可以在“SQL防御”界面查看已添加的防御规则。防御规则动态生效。 如需对当前规则进行调整,可单击对应规则所在“操作”列的“修改”,验证用户密码后可修改规则相关参数。 图1
接,可以查询由Hive on HBase所创建的表,支持通过SQL命令创建HBase表或创建外表关联HBase表。建表前,确认HBase中已存在对应 HBase表,下面以HBase表table1为例说明。 通过Beeline工具创建HBase表,命令如下: create table
location和ssl.truststore.password,前者表示truststore的位置,后者表示truststore密码。 否 说明: 该参数未配置时为非安全Kafka。 如果需要配置SSL,truststore.jks文件生成方式可参考“Kafka开发指南 > 客户端SSL加密功能使用说明”章节。
Administrator”和“KMS Administrator”权限。 关于更多磁盘加密详情请参考云硬盘加密。 开启系统盘加密时,需配置以下参数: 系统盘密钥ID:已选择的密钥名称对应的密钥ID信息。 系统盘密钥名称:选择用来加密系统盘的密钥名称,默认选择密钥名称为“evs/default”的默认主密钥,在下拉框中可以选择其他用户主密钥。
待操作集群的名称 > 服务 > HDFS > 实例”,在实例列表中找到该NameService的备NameNode实例,查看其“配置状态”是否为“已同步”。 是,执行6。 否,执行4。 勾选该备NameNode实例,单击“启动实例”,等待启动完成。 等待1个NameNode合并元数据的周期时间后,查看告警是否清除。
Cookie”开关,即查看配置“flink-conf.yaml”文件中的“security.enable: true”,查看“security cookie”是否已配置成功,例如: security.cookie: ae70acc9-9795-4c48-ad35-8b5adc8071744f605d1d
录,可安装方法可参考《MapReduce服务用户指南》的“客户端管理”章节。 确认服务端HDFS组件已经安装,并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 获取并解压缩安装包“MRS_HDFS_Client.tar”。执行如下命令解压。 tar -xvf MRS_HDFS_Client
location和ssl.truststore.password,前者表示truststore的位置,后者表示truststore密码。 否 说明: 该参数未配置时为非安全Kafka。 如果需要配置SSL,truststore.jks文件生成方式可参考“Kafka开发指南 > 客户端SSL加密功能使用说明”章节。
行任务。 默认使用带宽控制为20MB/s,如果重新设置带宽流量或加大数据量,Balance操作可能会对正在运行的业务产生影响。 前提条件 已安装HDFS客户端。 配置Balance任务 使用客户端安装用户登录客户端所在节点。执行命令切换到客户端安装目录,例如“/opt/client”。
在集群详情页面,单击“节点管理”页签。 在Task节点组的“操作”列,选择“缩容”。 缩容类型选择“指定节点缩容”,勾选需要缩容的节点。 当节点处于关机、失联、未知、已隔离、故障状态时,可以指定节点缩容。 勾选“我已经阅读上述信息,并了解具体影响。”,并单击“确定”。 父主题: MRS集群管理
行任务。 默认使用带宽控制为20MB/s,如果重新设置带宽流量或加大数据量,Balance操作可能会对正在运行的业务产生影响。 前提条件 已安装HDFS客户端。 配置Balance任务 使用客户端安装用户登录客户端所在节点。执行命令切换到客户端安装目录,例如“/opt/client”。
sourceManager(RM)和若干个针对应用程序的ApplicationMaster(AM)。 如需使用YARN,请确保MRS集群内已安装Hadoop服务。 应用程序是指传统的MapReduce作业或作业的DAG(有向无环图)。 YARN结构 YARN分层结构的本质是Res
rkUI页面查看任务详情。 图2 查看Spark任务详情 任务运行完成中,在HBase Shell中查询HBase表内容,可以看到对应记录已更新。 cd /opt/client source bigdata_env hbase shell scan 'table2' ROW
打开“Security Cookie”开关,配置“security.enable: true”,查看“security cookie”是否已配置成功,例如: security.cookie: ae70acc9-9795-4c48-ad35-8b5adc8071744f605d1d
不涉及 取值范围: 不涉及 默认取值: 不涉及 status Integer 参数解释: 数据连接状态。 约束限制: 不涉及 取值范围: -1:已删除 0:正常 -2:异常 1:使用中 默认取值: 不涉及 used_clusters String 参数解释: 使用集群。 约束限制: 不涉及
准备运行环境配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地
Values(88,5),(5,5),(3,7),(3,5),(1,6),(2,6),(4,7),(4,6),(43,5),(5,9),(3,6); 在未合并parts查询所有数据: SELECT * FROM testTable ┌─id─┬─value─┐ │ 1 │ 6
Values(88,5),(5,5),(3,7),(3,5),(1,6),(2,6),(4,7),(4,6),(43,5),(5,9),(3,6); 在未合并parts查询所有数据: SELECT * FROM testTable ┌─id─┬─value─┐ │ 1 │ 6
user.name=test&op=OPEN" 运行结果: Hello, webhdfs user! 创建请求追加文件的命令,获取集群为已存在“/huawei/testHdfs”文件分配的可写入DataNode节点地址信息Location。 执行如下命令访问HTTP: linux1:/opt/client