检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API进行Storm拓扑的开发。 开发流程如图1所示。 图1 拓扑开发流程 表1 Storm应用开发的流程说明 阶段 说明 了解基本概念 在开始开发应用前,需要了解Storm的基本概念。 准备开发环境 推荐使用Eclipse工具,请根据指导完成不同语言的开发环境配置。 获取并导入样例工程
开发流程中各阶段的说明如图1和表1所示。 图1 Presto应用程序开发流程 表1 Presto应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Presto的基本概念。 Presto应用开发常用概念 准备开发和运行环境 Presto的应用程序支持使
} // Specify the table descriptor. TableDescriptorBuilder htd = TableDescriptorBuilder.newBuilder(TableName.valueOf(tableName));
= 'org.apache.hudi.hive.MultiPartKeysValueExtractor' --同步hive表的extractor类。 ); Spark streaming写入Hudi表常用的参数如下(参数意义与上面flink类似,不再做注释): hoodie
操作场景 本章节只适用于MRS产品中Storm和OBS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm已经安装,并正常运行。 将storm-examples导入到Eclipse开发环境,请参见导入并配置Storm样例工程。 下载并
仅配置文件”。 此时生成的压缩文件包含所有服务的配置文件。 是否在集群的节点中生成配置文件? 是,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件,文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。支持自定义其他目录且omm用户拥有目录的读、写与执行权限。然后执行4。
参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名称。 对系统的影响 业务失败:磁盘不可写或不可读时,如果需要修改或使用该磁盘上的数据,可能会导致作业运行失败。 可能原因
column_num要和数据文件中的列的数量对应。 family的指定要和表的列族名称对应。 仅当批量导入数据时创建二级索引才需配置以下参数,且索引类型的首字母需要大写,例如type="String";以下片段中length="30"表示索引列“H_ID”的列值不能超过30个字符:
执行程序可存储于HDFS或者OBS中,不同的文件系统对应的路径存在差异。 OBS存储路径:以“obs://”开头。示例:obs://wordcount/program/hadoop-mapreduce-examples-2.7.x.jar HDFS存储路径:以“/user”开头。Spark Script需要以“
EXTERNAL FUNCTION qualified_function_name; 描述 显示所有内置函数的定义信息。 显示所有JAVA函数的描述信息。 显示给定函数的定义信息。 示例 SHOW functions; --使用LIKE子句 show functions like
内存使用率小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12018 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger
Workflow流程任务在HDFS上的存放路径 resourceManager MapReduce ResourceManager地址 queueName 任务处理时使用的MapReduce队列名 nameNode HDFS NameNode集群地址 “${变量名}”表示:该值来自job
Configuration(); LoginUtil.login(userPrincipal, userKeytabPath, krb5ConfPath, hadoopConf); // 通过spark接口获取表中的数据 val spark = SparkSession
Configuration(); LoginUtil.login(userPrincipal, userKeytabPath, krb5ConfPath, hadoopConf); // 通过spark接口获取表中的数据 val spark = SparkSession
Log4j2存在一处远程代码执行漏洞(CVE-2021-44228),在引入Apache Log4j2处理日志时,会对用户输入的内容进行一些特殊的处理,攻击者可以构造特殊的请求,触发远程代码执行。目前POC已公开,风险较高。具体漏洞详情,请参见Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)。
x及之后版本。 对系统的影响 更换过程中MRS系统需要重启,此时系统无法访问且无法提供服务。 更换证书以后,所有组件和Manager的模块使用的证书将自动更新。 更换证书以后,还未信任该证书的本地环境,需要重新安装证书。 前提条件 获取需要导入到MRS集群的CA证书文件(*.crt)、密钥文件(*
resource_ids 否 Array of strings 参数解释: 缩容节点时指定待删除节点的资源ID列表。resource_ids为空时,按照系统规则自动选择删除节点。仅支持删除状态异常的ecs节点。会针对指定节点进行强制删除。可通过查询主机接口获取resource_id。 约束限制:
配置工具 > 导入”,将该文件导入后再修改加密传输的相关配置项即可。 导入配置文件时,建议配置source/channel/sink的各自的个数都不要超过40个,否则可能导致界面响应时间过长。 不同的File Channel均需要配置一个不同的checkpoint目录。 单击“导出”,将配置文件“properties
Flink Kafka样例程序(Java) 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink
--allow-fetch-from-multiple-sources \ --allow-continuous-when-multiple-sources 当“source”的类型是“kafka source”时,“--schemaprovider-class”指定的schema provider类需要用户自己开发。