检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Storm应用开发流程介绍 本文档主要基于Java API进行Storm拓扑的开发。 开发流程如图1所示。 图1 拓扑开发流程 表1 Storm应用开发的流程说明 阶段 说明 了解基本概念 在开始开发应用前,需要了解Storm的基本概念。 准备开发环境 推荐使用Eclipse工具,请根据指导完成不同语言的开发环境配置。
me JavaRDD<FemaleInfo> femaleInfoJavaRDD = jsc.textFile(args[0]).map( new Function<String, FemaleInfo>() {
告警”,选中“告警ID”为“50230”的告警,查看“定位信息”中的角色名并确定实例的IP地址,查看“附加信息”中的CurrentValue值。 若“CurrentValue”值为“2”,表示获取的AK/SK失效,执行2。 若“CurrentValue”值为“3”,表示连接OBS失败,执行7。
接近于最大可表示精度 (38) 的类型,当一个操作数不符合公共超类型时,这可能会导致“值超出范围”错误。例如:decimal(38, 0) 和decimal(38, 1) 的公共超类型是decimal(38, 1),但某些符合decimal(38, 0) 的值无法表示为decimal(38
建议预留适量的CPU给操作系统和其他进程(数据库、HBase等)外,剩余的CPU核都分配给YARN。可以通过如下配置参数进行调整。 参数 描述 默认值 yarn.nodemanager.resource.percentage-physical-cpu-limit 表示该节点上YARN可使用的物
cd /opt/client/Oozie/oozie-client-*/examples/apps/hive/ 该目录下需关注文件如表1所示。 表1 文件说明 文件名称 描述 hive-site.xml Hive任务的配置文件。 job.properties 工作流的参数变量定义文件。
cd /opt/client/Oozie/oozie-client-*/examples/apps/hive/ 该目录下需关注文件如表1所示。 表1 文件说明 文件名称 描述 hive-site.xml Hive任务的配置文件。 job.properties 工作流的参数变量定义文件。
准备本地应用开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
_col0 --------------------- nnnn-nnnn-nnnn-4321 (1 row) mask_hash(string|char|varchar str) →varchar 描述:返回基于str的散列值。散列是一致的,可以用于跨表连接被
供一个阈值范围。当HDFS集群磁盘空间使用率超出阈值范围时,产生该告警。 当HDFS磁盘使用率小于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 14001 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName
数和阈值相比较。当检测到HDFS文件数指标超出阈值范围时产生该告警。 当HDFS文件数指标的值小于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 14006 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName
采集数据时报错HoodieKeyException 问题 创建Hudi表时,是否可以使用包含空记录的可空字段作为主键? 回答 不可以。 使用包含空记录的可空字段作为主键时会返回HoodieKeyException异常: Caused by: org.apache.hudi.exception
准备ClickHouse应用开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK
在“选择导出类型”中选择删除作业类型。 “所有”:表示导出当前所有的作业。 “指定作业”:表示指定需要导出的作业。选择“指定作业”,在作业列表中勾选需要导出的作业。 “指定组别”:表示导出某个指定分组中的所有作业。选择“指定分组”,在分组列表中勾选需要导出的作业分组。 “是否导出密码”
huawei.bigdata.hbase.examples包的“GlobalSecondaryIndexSample”类中。 本样例实现了禁用idx_id_age索引功能,即查询时不会使用此索引,但会生成索引数据。 /** * alter index to UNUSABLE state
huawei.bigdata.hbase.examples包的“GlobalSecondaryIndexSample”类中。 本样例实现了禁用idx_id_age索引功能,即查询时不会使用此索引,但会生成索引数据。 /** * alter index to UNUSABLE state
Agent状态进行监控,当Flume Agent进程故障时,系统产生此告警。 当检测到Flume Agent进程故障恢复,且告警处理完成时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 24001 一般 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName
ClickHouse应用开发流程介绍 开发流程中各阶段的说明如图1所示。 图1 ClickHouse应用程序开发流程 表1 ClickHouse应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解ClickHouse的基本概念。 基本概念 准备开发和运行环境 ClickH
使用Storm 从零开始使用Storm 使用Storm客户端 使用客户端提交Storm拓扑 访问Storm的WebUI 管理Storm拓扑 查看Storm拓扑日志 Storm常用参数 配置Storm业务用户密码策略 迁移Storm业务至Flink Storm日志介绍 性能调优
告警”,选中“告警ID”为“50229”的告警,查看“定位信息”中的角色名并确定实例的IP地址,查看“附加信息”中的CurrentValue值。 若“CurrentValue”值为“2”,表示获取的AK/SK失效,执行2。 若“CurrentValue”值为“3”,表示连接OBS失败,执行7。