检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS 1.7.1.6补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.7.1.6 发布时间 2019-01-24 解决的问题 MRS 1.7.1.6修复问题列表: MRS Manager MRS服务启动、停止及重启支持显示依赖关系,并自定义重启哪些服务。 MRS
ARM环境python pipeline运行报139错误码规避方案 问题 在TaiShan服务器上,使用python插件的pipeline报错显示139错误。具体报错如下: subprocess exited with status 139 回答 该python程序既使用了libcrypto
ARM环境python pipeline运行报139错误码 问题 在TaiShan服务器上,使用python插件的pipeline报错显示139错误。具体报错如下: subprocess exited with status 139 回答 该python程序既使用了libcrypto
HDFS目录配额不足导致写文件失败 问题背景与现象 给某目录设置quota后,往目录中写文件失败,出现如下问题“The DiskSpace quota of /tmp/tquota2 is exceeded”。 [omm@189-39-150-115 client]$ hdfs dfs
径过滤器,每个服务器的多个过滤条件使用逗号“,”隔开。配置为空时表示不过滤目录。 “?”匹配单个字符。 “*”配置多个字符。 在匹配条件前加“^”表示取反,即文件过滤。 例如,当“过滤类型”选择“WILDCARD”时,将该参数设置为“*”;当“过滤类型”选择“REGEX”时,将该参数设置为“\\
mapPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构造
BulkPut接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将构建的RDD写入HBase中。 数据规划 在客户端执行hbase shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的Hase表: create
管理Storm拓扑 操作场景 用户可以使用Storm的WebUI管理拓扑。“storm”用户组的用户只能管理由自己提交的拓扑任务,“stormadmin”用户组的用户可以管理所有拓扑任务。 操作步骤 访问Storm的WebUI,请参考访问Storm的WebUI。 在“Topology
Flink应用开发流程介绍 Flink应用程序开发流程 Flink开发流程参考如下步骤: 图1 Flink应用程序开发流程 表1 Flink应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Flink的基本概念。 Flink基本概念 准备开发和运行环境
集群状态消息通知 特性简介 大数据集群运行过程中经常会进行如下操作: 大数据集群变更,比如扩容、缩容集群。 业务数据量突然变化,集群触发弹性伸缩。 相关业务结束,需要终止大数据集群等。 用户想要及时得知这些操作是否执行成功,以及当集群出现大数据服务不可用,或节点故障时,用户希望不
Flink应用开发流程介绍 Flink应用程序开发流程 Flink开发流程参考如下步骤: 图1 Flink应用程序开发流程 表1 Flink应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Flink的基本概念。 基本概念 准备开发和运行环境 Fl
获取项目ID 从控制台获取项目ID 在调用接口的时候,部分URL中需要填入项目编号(project_id),所以需要获取到项目编号。项目编号获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 多项目时,展开
Hue中的输入框输入中文会出现混乱 用户问题 Hue中的输入框输入中文会出现混乱。 问题现象 Hue的输入框中输入中文时,会出现混乱,第一次输入不了的情况,也即输入的中文会首先出现英文,中文并未输入,再次输入会带上之前的内容,示例如下: 原因分析 Hue对中文的处理存在混乱的情况,需要进行修正。
查看MRS节点引导操作执行记录 您可以在集群详情页选择“引导操作” 页签查看引导操作的执行结果。 查看执行结果 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页面选择“引导操作”页签。系统显示创建集群时所添加的引导操作信息。
Flink开启Checkpoint样例程序(Java) 功能介绍 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性。 代码样例 快照数据 该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。 import java.io.Seriablizale;
Flink开启Checkpoint样例程序(Java) 功能介绍 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性。 代码样例 快照数据 该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。 import java.io.Seriablizale;
ALM-18010 ResourceManager进程垃圾回收(GC)时间超过阈值 告警解释 系统每60秒周期性检测ResourceManager进程的垃圾回收(GC)占用时间,当检测到ResourceManager进程的垃圾回收(GC)时间超出阈值(默认12秒)时,产生该告警。
ClickHouse应用开发流程介绍 开发流程中各阶段的说明如ClickHouse应用程序开发流程和表1所示。 图1 ClickHouse应用程序开发流程 表1 ClickHouse应用开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前,需首先准备开发环境,Cl
下载MRS客户端 登录MRS Manager,请参考登录MRS Manager。 选择“服务管理”。 单击“下载客户端”。 在“客户端类型”选择“完整客户端”。 在“下载路径”选择“远端主机”。 将“主机IP”设置为新申请的弹性云服务器的IP地址,设置“主机端口”为“22”,并将“存放路径”设置为“/tmp”。
缩容Task节点失败 问题现象 在MRS 2.x集群详情页面调整集群Task节点,将Task节点调整成0个,最终缩容失败,提示如下: This operation is not allowed because the number of instances of NodeManager