检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
委托或者删除委托中的Tenant Administrator角色将会自动取消授权,取消授权后将影响集群创建、集群扩容、集群缩容、升级Master节点规格、弹性伸缩、修改集群名称、IAM用户同步等功能,集群的运行状态也将无法监控。 注册华为云并实名认证 如果用户已注册华为云,可直接
应用程序,具体样例程序可参考开发Spark应用。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例,否则可能会导致任务失败,并可能导致JobHistory部分数据丢失。 查看调测结果 Spark应用程序运行完成后,可通过如下方式查看应用程序的运行情况。
Util相关接口来完成这些配置,如下样例代码中只需要配置用户自己申请的账号名称和对应的keytab文件名称即可,由于人机账号的keytab会随用户密码过期而失效,故建议使用机机账号进行配置。 认证样例代码: 设置keytab认证文件模块 /** * 用户自己申请的账号keytab文件名称
硬盘信息保持一致。 约束条件 同步磁盘信息功能仅支持同步云硬盘信息,不支持同步本地盘信息。 正在进行磁盘信息同步的集群不支持扩容、缩容、升级规格等操作。 同步磁盘信息 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“节点管理”。
应用程序,具体样例程序可参考开发Spark应用。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例,否则可能会导致任务失败,并可能导致JobHistory部分数据丢失。 查看调测结果 Spark应用程序运行完成后,可通过如下方式查看应用程序的运行情况。
不要配置成ll。可配置成Shell命令ls ,参数添加一个 “-l”。 Windows上传Shell脚本到HDFS时,请保证Shell脚本的格式为Unix,格式不正确会导致Shell作业提交失败。 父主题: 使用Hue提交Oozie作业
不要配置成ll。可配置成Shell命令ls ,参数添加一个 “-l”。 Windows上传Shell脚本到HDFS时,请保证Shell脚本的格式为Unix,格式不正确会导致Shell作业提交失败。 父主题: 使用Hue提交Oozie作业
ven工程下载相关依赖包,具体操作可参考配置并导入样例工程。 图1 Hive样例工程示例 本地配置好Maven及SDK相关参数后,样例工程会自动加载相关依赖包。 将准备应用开发配置文件中获取的集群配置文件及用户认证文件放置在样例工程的“resources”目录下。 如需连接开启了
0及之后版本。 使用约束 自定义分隔符不能为空字符串。 自定义分隔符长度必须小于等于16个字符。 自定义分隔符过长会影响解析效率,降低数据导入速度,且会导致有效数据占比率降低,使得文件占用过大,因此不建议使用过长的分隔符。 自定义分隔符必须为可见字符。 自定义分隔符白名单,避免可能的注入问题
“查看子网”进入网络控制台,创建一个新的子网。 - 集群节点 MRS集群内节点的规格信息及数量配置。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。 根据自身需要选择集群节点规格数量。 Kerberos认证 MRS集群中各组件是否启用Kerberos认证。Ke
doopDomain,可根据需要进行变更。 [2]此处hadoop1Domain为保存另一个集群配置文件的目录名称,该目录相对路径为hbase-example/src/main/resources/hadoop1Domain,可根据需要进行变更。 [3]依次初始化conf对象。 [4]进行登录认证。
如果Windows运行环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 在MapReduce任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 运行统计样例程序 确保样例工程依赖的所有jar包已正常获取。 在IntelliJ IDEA开发环境中,打开样例工程中“LocalRunner
thon来访问HBase服务。python样例仅支持在Linux环境中运行,调测HBase python样例程序需有与集群环境网络相通的ECS,详情请参见准备本地应用开发环境,并需要安装python环境,安装包下载详情请参见:https://www.python.org/。当前以
集群上下电之后HBase启动失败 问题背景与现象 集群的ECS关机重启后,HBase启动失败。 原因分析 查看HMaster的运行日志,发现有报大量的如下错误: 2018-03-26 11:10:54,185 | INFO | hadoopc1h3,21300,15220316
Manager系统。 选择“服务管理 > Storm > 下载客户端 > 完整客户端”,下载客户端程序到“远端主机”,即目标ECS。 登录到客户端下载的目标ECS。 在Linux系统中,使用如下命令解压客户端压缩包。 tar -xvf MRS_Storm_Client.tar tar
如果Windows运行环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 在MapReduce任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 前提条件 已将准备连接MapReduce集群配置文件获取的配置文件放置到MapReduce样例工程的“../src/mapr
ark、Presto以及相关依赖服务。 重启组件的范围,是以补丁依次升级给定的范围,即如果是从MRS 1.9.3.8打补丁升级到MRS 1.9.3.9,需要重启MRS 1.9.3.9补丁的组件;如果是跨版本升级的,则需要重启的组件范围是各补丁的合集。 慢盘隔离特性约束: 隔离慢盘
场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。 单击“自动识别”后,建议手动检查系统自动识别出的字段类型,确保与表中实际的字段类型相符合。 例如Oracle数据库中的“date”类型,系统会自动识别为“timestamp”类型,若不手动处理会导致后续Hive表在查询数据时报错。
集群组件安装、集群扩容、集群缩容、升级Master节点规格功能不可用。 集群的运行状态、告警、事件无法监控。 集群详情页的节点管理、组件管理、告警管理、文件管理、作业管理、补丁管理、租户管理功能不可用。 Manager页面、各组件的Web站点无法访问。 再次开启通信安全授权,集群状态会恢复为“运行中
场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。 单击“自动识别”后,建议手动检查系统自动识别出的字段类型,确保与表中实际的字段类型相符合。 例如Oracle数据库中的“date”类型,系统会自动识别为“timestamp”类型,如果不手动处理会导致后续Hive表在查询数据时报错。