检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Workflow流程任务在HDFS上的存放路径 resourceManager MapReduce ResourceManager地址 queueName 任务处理时使用的MapReduce队列名 nameNode HDFS NameNode集群地址 “${变量名}”表示:该值来自job
内存使用率小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12018 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger
用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile导入HBase表的操作采用如下格式的命令,不属于本接口范围,不在此进行详细说明:
用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile导入HBase表的操作采用如下格式的命令,不属于本接口范围,不在此进行详细说明:
FILE:/tmp/krb5cc_0 Default principal: test@HADOOP.COM Valid starting Expires Service principal 01/25/17 11:06:48 01/26/17 11:06:45
foreachPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。 数据规划 在客户端执行:hbase
查看到的RegionServer主机名称对应的ID。 例如,若查看到的RegionServer的URL为“/HBase/RegionServer/44”,则访问地址为“https://100.94.xxx.xxx:9022/component/HBase/RegionServer/44/rs-status”。
properties 功能描述 流程的属性定义文件,定义了流程运行期间使用的外部参数值对。 参数解释 “job.properties”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 nameNode HDFS NameNode集群地址 resourceManager
作用一:这个时间结合传入的ZKURL中ZooKeeper的地址个数,ZooKeeper客户端以(sessionTimeout/传入ZooKeeper地址个数)为连接一个节点的超时时间,超过此时间未连接成功,则尝试连接下一个节点。 作用二:连接建立后,一个会话的超时时间,如ZooKe
directory item limit of /tmp is exceeded:。该错误的含义为/tmp目录的文件数超过1048576的限制。 2018-03-14 11:18:21,625 | WARN | IPC Server handler 62 on 25000 | DIR* NameSystem
参数后选择并上传本地已准备好的UDF jar文件。 填写UDF名称以及描述信息后,单击“确定”。 “UDF名称”最多可添加10项,“名称”可自定义,“类名”需与上传的UDF jar文件中UDF函数全限定类名一一对应。 上传UDF jar文件后,服务器默认保留5分钟,5分钟内单击确
执行以下操作使得新扩容的磁盘容量生效。 如果是新增分区操作,请执行8。新增分区操作是指把扩容的磁盘容量分配给新的分区,并挂载新的ClickHouse数据目录到新增分区下,该操作不会有中断业务的影响。 如果是扩大已有分区操作,请执行15。扩大已有分区是指把扩容的磁盘容量分配给已存在分
由于某些异常操作或者磁盘损坏等原因导致Hive存储的数据文件出现异常,异常的数据文件会导致任务运行失败或者数据结果不正确。 该工具用于对常见的非文本类的数据文件格式进行异常排查。 该章节内容仅适用MRS 3.2.0及之后版本。 操作步骤 使用omm用户登录安装了Hive服务的节点,执行以下命令进入Hive安装目录。
0及以后版本。 使用场景 内置JSON_VALUE函数解析一个JSON item的多个字段时,复用上次JSON item的解析结果,提升算子性能。 使用方法 配置Flink作业时,可通过在FlinkServer WebUI的Flink作业开发界面添加自定义参数“table.optimizing
以下代码片段在“hbase-thrift-example\src\main\java\com\huawei\hadoop\hbase\examples”包的“ThriftSample”类的getData方法中。 private void getData(THBaseService.Iface client, String
以下代码片段在“hbase-thrift-example\src\main\java\com\huawei\hadoop\hbase\examples”包的“ThriftSample”类的getData方法中。 private void getData(THBaseService.Iface client, String
} // Specify the table descriptor. TableDescriptorBuilder htd = TableDescriptorBuilder.newBuilder(TableName.valueOf(tableName));
API进行Storm拓扑的开发。 开发流程如图1所示。 图1 拓扑开发流程 表1 Storm应用开发的流程说明 阶段 说明 了解基本概念 在开始开发应用前,需要了解Storm的基本概念。 准备开发环境 推荐使用Eclipse工具,请根据指导完成不同语言的开发环境配置。 获取并导入样例工程
开发流程中各阶段的说明如图1和表1所示。 图1 Presto应用程序开发流程 表1 Presto应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Presto的基本概念。 Presto应用开发常用概念 准备开发和运行环境 Presto的应用程序支持使
Bid, DESCRIPTOR(bidtime), INTERVAL '10' MINUTES)) GROUP BY window_start, window_end; 窗口去重语句 Window Deduplication是一种特殊的重复数据删除,它删除在一组列上重复的行,为每个窗口和分区键保留第一个或最后一个。