检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
12016”“ALM-12016 CPU使用率超过阈值”告警。 是,执行9 否,11 按照ALM-12016 CPU使用率超过阈值告警处理文档,处理该告警。 处理完12016告警后,等待10分钟,查看该告警是否自动消除。 是,处理结束。 否,执行11 查看NameNode节点的内存是否设置过小。
开发流程中各个阶段的说明如图1和表1所示。 图1 Kafka客户端程序开发流程 表1 Kafka客户端开发的流程说明 阶段 说明 参考文档 准备开发环境 Kafka的客户端程序当前推荐使用java语言进行开发,可使用IntelliJ IDEA工具开发。 Kafka的运行环境即
Analysis):支持标准SQL查询分析,同时提供DSL(DataFrame), 并支持多种外部输入。 Apache Spark部件架构如图1所示。本文档重点介绍Spark、Spark SQL和Spark Streaming应用开发指导。MLlib和GraghX的详细指导请参见Spark官方网站:http://spark
Manager首页,选择“运维 > 告警 > 告警”,查看是否存在告警ID为“19008”或“19011”的告警。 是,单击对应告警右侧的“查看帮助”并按照帮助文档进行处理,执行3。 否,执行2。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > HBase > 配置
相同的。 开发流程中各阶段的说明如图1和表1所示。 图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Spark的基本概念,根据实际场景选择需要了解的概念,分为Spark Core基本概念、Spark
ebook代码段。需要MRS集群已安装Hive、Spark2x。 使用计划程序提交Workflow任务、计划任务、Bundle任务。 使用文档查看、导入、导出在Hue页面上操作的任务,例如保存的Workflow任务、定时任务、Bundle任务等。 使用表管理Hive、SparkS
量轻、性能高、易使用的特点,支持对接Hadoop与Spark生态,适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 本文档内容仅适用于MRS 3.2.0及之后版本。 常用概念 以电力场景为例,说明如何在IoTDB中创建一个正确的数据模型。 图1 电力场景属性层级组织结构
量轻、性能高、易使用的特点,支持对接Hadoop与Spark生态,适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 本文档内容仅适用于MRS 3.2.0及之后版本。 常用概念 以电力场景为例,说明如何在IoTDB中创建一个正确的数据模型。 图1 电力场景属性层级组织结构
程相同。 开发流程中各阶段的说明如图1和表1所示。 图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Spark的基本概念,根据实际场景选择需要了解的概念,分为Spark Core基本概念、Spark
执行vi /etc/fstab命令编辑文件,将包含“DirName”的行删除。 联系硬件工程师插入全新磁盘,具体操作请参考对应型号的硬件产品文档,如果原来故障的磁盘是RAID,那么请按照对应RAID卡的配置方法配置RAID。 等待20~30分钟后执行mount命令(具体时间依赖磁盘
相同的。 开发流程中各阶段的说明如图1和表1所示。 图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明 阶段 说明 参考文档 准备开发环境 Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语
ebook代码段。需要MRS集群已安装Hive、Spark2x。 使用计划程序提交Workflow任务、计划任务、Bundle任务。 使用文档查看、导入、导出在Hue页面上操作的任务,例如保存的Workflow任务、定时任务、Bundle任务等。 使用表管理Hive、SparkS
告警”,查看该NameNode节点是否有“ALM-12016 CPU使用率超过阈值”告警。 是,执行9。 否,执行11。 按照ALM-12016 CPU使用率超过阈值告警处理文档,处理该告警。 处理完12016告警后,等待10分钟,查看14022告警是否自动消除。 是,处理结束。 否,执行11。 查看NameNode节点的内存是否设置过小。
ain\resources\conf”目录中。其他样例项目配置文件放置及样例代码执行注意事项指导,请参考对应样例项目“README.md”文档。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 打开IntelliJ IDEA,选择“Configure”。
否,执行7。 执行vi /etc/fstab命令编辑文件,将包含“挂载目录名”的行删除。 联系硬件工程师插入全新磁盘,具体操作请参考对应型号的硬件产品文档,如果原来故障的磁盘是RAID,那么请按照对应RAID卡的配置方法配置RAID。 等待20~30分钟后执行mount命令(具体时间依赖磁盘
不支持导入空的文件夹。 目录和文件名称可以包含中文、字母、数字、中划线和下划线,但不能包含;|&>,<'$*?\特殊字符。 目录和文件名称不能以空格开头或结尾,中间可以包含空格。 OBS全路径长度小于等于255字符。 HDFS路径地址说明: 目录和文件名称可以包含中文、字母、数字、中划线和下划线,但不能包含;|&>
“$SPARK_HOME/lib”路径。 用户需要将SparkLauncher类的运行依赖包和应用程序运行依赖包上传至客户端的lib路径。文档中提供的示例代码,其运行依赖包在客户端lib中已存在。 SparkLauncher的方式依赖Spark客户端,即运行程序的节点必须已安装S
SPARK_HOME/jars”路径。 用户需要将SparkLauncher类的运行依赖包和应用程序运行依赖包上传至客户端的jars路径。文档中提供的示例代码,其运行依赖包在客户端jars中已存在。 Spark Launcher的方式依赖Spark客户端,即运行程序的节点必须已安
SPARK_HOME/jars”路径。 用户需要将SparkLauncher类的运行依赖包和应用程序运行依赖包上传至客户端的jars路径。文档中提供的示例代码,其运行依赖包在客户端jars中已存在。 Spark Launcher的方式依赖Spark客户端,即运行程序的节点必须已安
SPARK_HOME/jars”路径。 用户需要将SparkLauncher类的运行依赖包和应用程序运行依赖包上传至客户端的jars路径。文档中提供的示例代码,其运行依赖包在客户端jars中已存在。 Spark Launcher的方式依赖Spark客户端,即运行程序的节点必须已安