检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行任务。 默认使用带宽控制为20MB/s,如果重新设置带宽流量或加大数据量,Balance操作可能会对正在运行的业务产生影响。 前提条件 已安装HDFS客户端。 配置Balance任务 使用客户端安装用户登录客户端所在节点。执行命令切换到客户端安装目录,例如“/opt/client”。
行任务。 默认使用带宽控制为20MB/s,如果重新设置带宽流量或加大数据量,Balance操作可能会对正在运行的业务产生影响。 前提条件 已安装HDFS客户端。 配置Balance任务 使用客户端安装用户登录客户端所在节点。执行命令切换到客户端安装目录,例如“/opt/client”。
在集群详情页面,单击“节点管理”页签。 在Task节点组的“操作”列,选择“缩容”。 缩容类型选择“指定节点缩容”,勾选需要缩容的节点。 当节点处于关机、失联、未知、已隔离、故障状态时,可以指定节点缩容。 勾选“我已经阅读上述信息,并了解具体影响。”,并单击“确定”。 父主题: MRS集群管理
sourceManager(RM)和若干个针对应用程序的ApplicationMaster(AM)。 如需使用YARN,请确保MRS集群内已安装Hadoop服务。 应用程序是指传统的MapReduce作业或作业的DAG(有向无环图)。 YARN结构 YARN分层结构的本质是Res
用户登录Manager修改密码)。 登录Manager,下载认证凭据。 登录集群的Manager界面,选择“系统 > 权限 > 用户”,在已增加用户所在行的“操作”列,选择“更多 > 下载认证凭据”。 图1 下载认证凭据 将下载的认证凭据压缩包解压缩,并将得到的文件复制到客户端节
AM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 通过管理控制台添加租户 登录MRS管理控制台。 选择“现有集群”
不涉及 取值范围: 不涉及 默认取值: 不涉及 status Integer 参数解释: 数据连接状态。 约束限制: 不涉及 取值范围: -1:已删除 0:正常 -2:异常 1:使用中 默认取值: 不涉及 used_clusters String 参数解释: 使用集群。 约束限制: 不涉及
user.name=test&op=OPEN" 运行结果: Hello, webhdfs user! 创建请求追加文件的命令,获取集群为已存在“/huawei/testHdfs”文件分配的可写入DataNode节点地址信息Location。 执行如下命令访问HTTP: linux1:/opt/client
)] INTO num_buckets BUCKETS; 限制 EXCHANGE PARTITION: 被迁移的单个或多个分区,迁移前必须都是已存在的分区,并归属于来源表,且在目标表中不包含这些分区; 该操作涉及的表需要有相同的列定义,并且有相同的分区键; 如果表中包含索引,该操作会失败;
user.name=test&op=OPEN" 运行结果: Hello, webhdfs user! 创建请求追加文件的命令,获取集群为已存在“/huawei/testHdfs”文件分配的可写入DataNode节点地址信息Location。 执行如下命令访问HTTP: linux1:/opt/client
和spark-submit脚本(运行的应用中带SQL操作),不支持使用proxy user参数去提交任务。另外,由于本文档中涉及的样例程序已添加安全认证,建议不要使用proxy user参数去提交任务。 基本概念 RDD 即弹性分布数据集(Resilient Distributed
和spark-submit脚本(运行的应用中带SQL操作),不支持使用proxy user参数去提交任务。另外,由于本文档中涉及的样例程序已添加安全认证,建议不要使用proxy user参数去提交任务。 基本概念 RDD 即弹性分布数据集(Resilient Distributed
springboot应用程序也支持在Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 Linux环境已安装JDK,版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致,并设置好Java环境变量。 编译并运行程序 在IDEA中
springboot应用程序也支持在Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 Linux环境已安装JDK,版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致,并设置好Java环境变量。 编译并运行程序 在IDEA中
目录,安装方法可参考《MapReduce服务用户指南》的“客户端管理”章节。 确认服务端HDFS组件已经安装,并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 获取并解压缩安装“MRS_HDFS_Client.tar”包。执行如下命令解压。 tar -xvf MRS_HDFS_Client
创建并行文件系统”,配置以下参数后,单击“立即创建”。 区域:选择MRS集群所在区域。 文件系统名称:自定义名称,例如“mrs-ck-obs”。 单击已创建的并行文件系统名称,在“概览”页签中查看并记录“Endpoint”参数的值,即为OBS的Endpoint。 获取iam的Endpoint。
ted就成了支持副本的合并树引擎。 Replicated系列引擎借助ZooKeeper实现数据的同步,创建Replicated复制表时通过注册到ZooKeeper上的信息实现同一个分片的所有副本数据进行同步。 Replicated表引擎的创建模板: ENGINE = Replic
规则列表中的条目为触发告警的规则。 修改告警规则。 添加新规则 单击“添加规则”,参考表1新增指标的监控行为。 单击“确定”保存规则。 在当前已应用规则的所在行,单击“操作”中的“取消应用”。如果没有已应用的规则,则请跳过该步骤。 在新添加规则的所在行,单击“操作”中的“应用”,此时规则的“生效状态”变成“生效”。
Integer 参数解释: 作业最终状态码。 约束限制: 不涉及 取值范围: 0:未完成 1:执行错误,终止执行 2:执行完成并且成功 3:已取消 默认取值: 不涉及 hive_script_path String 参数解释: sql程序路径。 约束限制: 仅Spark Script和Hive
认证、导出用户、下载用户。 通过在“conf\log4j.properties”文件中配置日志打印信息,便于查看程序运行过程和结果。 默认已配置,具体填写示例如下: ##set log4j DEBUG < INFO < WARN < ERROR < FATAL log4j.logger