检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FE服务故障如何恢复 问题现象 FE可能因为某些原因出现无法启动bdbje、FE之间无法同步等问题,无法进行元数据写操作、没有MASTER等。需要手动操作来恢复FE,手动恢复FE先通过当前“meta_dir”中的元数据,启动一个新的MASTER,然后再逐一添加其他FE。 操作步骤
Kafka应用开发流程介绍 Kafka客户端角色包括Producer和Consumer两个角色,其应用开发流程是相同的。 开发流程中各个阶段的说明如图1和表1所示。 图1 Kafka客户端程序开发流程 表1 Kafka客户端程序开发的流程说明 阶段 说明 参考文档 了解基本概念
keytab文件,“人机”用户第一次登录时需修改密码。(普通模式不涉及) 在修改集群域名后,需要重新下载客户端,以保证客户端配置文件中kerberos.domain.name配置为正确的服务端域名。 使用Kafka客户端 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
批量添加集群标签 功能介绍 为指定集群批量添加标签。 一个集群上最多有20个标签。 此接口为幂等接口: 创建时,同一个集群不允许重复key,如果数据库存在就覆盖。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/cluste
DataNode的容量计算出错如何处理 问题 当多个data.dir被配置在一个磁盘分区内,DataNode的容量计算将会出错。 回答 目前容量计算是基于磁盘的,类似于Linux里面的df命令。理想状态下,用户不会在同一个磁盘内配置多个data.dir,否则所有的数据都将写入一个磁盘,在性能上会有很大的影响。
DataNode的容量计算出错如何处理 问题 当多个data.dir被配置在一个磁盘分区内,DataNode的容量计算将会出错。 回答 目前容量计算是基于磁盘的,类似于Linux里面的df命令。理想状态下,用户不会在同一个磁盘内配置多个data.dir,否则所有的数据都将写入一个磁盘,在性能上会有很大的影响。
Presto组件,则每一个组件需要再加一个IP。若单独购买ClickHouse集群则需要的IP数量为:集群节点数量+1(Manager)。 - 安全组 安全组是一组对弹性云服务器的访问规则的集合,为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。 创建MR
IoTDB自定义函数(UDF)样例程序 功能简介 该样例代码介绍如何实现一个简单的IoTDB自定义函数(UDF)。 详细信息可以参考UDF样例程序与操作章节。 代码样例 以下为代码片段示例: package com.huawei.bigdata.iotdb; import org
IoTDB自定义函数(UDF)样例程序 功能简介 该样例代码介绍如何实现一个简单的IoTDB自定义函数(UDF)。 详细信息可以参考UDF样例程序与操作章节。 代码样例 以下为代码片段示例: package com.huawei.bigdata.iotdb; import org
序并获取结果,本章节指导您如何在MRS集群中提交一个SparkSql作业。 SparkSql作业用于查询和分析数据,包括SQL语句和Script脚本两种形式,如果SQL语句涉及敏感信息,也可使用脚本文件方式提交。 用户可以在MRS管理控制台在线创建一个作业并提交运行,也可以通过MRS集群客户端来以命令行形式提交作业。
Hue WebUI界面中下载的Excel无法打开如何处理? 本案例适用于MRS 3.x之前版本。 以root用户登录任意一个Master节点,切换到omm用户。 su - omm 使用如下命令查看当前节点是否为OMS主节点。 sh ${BIGDATA_HOME}/om-0.0.1/sbin/status-oms
conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。
输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。 系数:指定取模的数值。 map 是 无 数据处理规则 生成新字段,值为取模后的值。 字段的值须为整数,否则当前行会成为脏数据。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图:
输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。 系数:指定取模的数值。 map 是 无 数据处理规则 生成新字段,值为取模后的值。 字段的值须为整数,否则当前行会成为脏数据。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图:
给指定集群添加标签 功能介绍 为特定的集群添加一个tag。 一个集群上最多有20个标签,此接口为幂等接口。添加标签时,如果创建的标签已经存在(key相同),则覆盖。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clust
nux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 运行任务 在运行样例程序时需要指定
环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 运行任务 在运行样例程序时需要指定
VARCHAR(32) ) WITH( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://MySQL服务器IP:MySQL服务器端口/mysql', 'table-name' = 'customer_t1', 'username' = 'MySQL数据库用户名'
MapReduce应用开发简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业(application/job)通常会把输
keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/female/user