检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果“/system/balancer.id”文件的释放时间超过了软租期60s,则第二次执行Balance操作的客户端的append操作会抢占租约,此时最后一个block处于under construction或者under recovery状态,会触发block的恢复操作,那么“/system/balancer
实例”。查看任一部署Flume角色节点的“业务IP”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 将此节点上的用户认证文件,复制到安装Flume客户端的节点,保存到Flume客户端中
通过客户端提交任务,客户端返回内存溢出的报错结果: 原因分析 从报错堆栈可以看出是任务在提交过程中分片时在读取HDFS文件阶段内存溢出了,一般是由于该任务要读取的小文件很多导致内存不足。 解决办法 排查启动的MapReduce任务是否对应的HDFS文件个数很多,如果很多,减少文件
CLI详细的使用方法参考官方网站的描述:http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示: spark-shell 提供了一个简单学习API的方法,类似于
用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile文件导入HBase表的操作采用如下格式的命令,不属于本接口范围,不在此进行详细说明:
Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME”
图1展示了使用IoTDB套件的全部组件形成的整体应用架构,IoTDB特指其中的时间序列数据库组件。 图1 IoTDB结构 用户可以通过JDBC/Session将来自设备传感器上采集的时序数据和服务器负载、CPU内存等系统状态数据、消息队列中的时序数据、应用程序的时序数据或者其他数据库中的时序数据导
以root用户登录主、备Master节点,执行ntpq -p命令查看两节点时间未同步。 解决办法 以root用户登录主OMS节点执行ifconfig命令,查找当前节点的浮动IP。 例如执行后结果如下,则当前节点的浮动IP为192.168.0.3。 登录NTP时间异常的Master节点,执行以下命令关闭NTP服务。 service
MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下,用户将数据存储在OBS服务中,使用MRS集群仅做数据计算处理的存算分离模式。 数据迁移 数据迁移方案介绍 本实践适用于多种不同场景下的HDFS、HBase、Hive数据向MRS集群的迁移工作。 介绍数据迁移前的准备工作、元数据导出、数据拷贝、数据恢复等内容。
每个Workflow可以包含一个或多个作业,形成完整的工作流,用于实现指定的业务。 创建Workflow时,可直接在Hue的编辑器设计作业,并添加到Workflow中。 每个计划可定义一个时间触发器,用于定时触发执行一个指定的Workflow。不支持多个Workflow。 每个Bundles可定
Joins中的inner join语句。 不支持与作业级TTL、表级TTL、小表广播特性同时使用。 使用JTL特性的表需要指定主键,否则可能导致结果不准确。 方式一:可通过SQL Hint使用 eliminate-state.left.threshold:表示左边关联次数的阈值,超过阈值后,该条数据就会过期。
FlinkServer REST API样例程序(Java) 功能介绍 通过调用FlinkServer RestAPI创建租户。 代码样例 具体代码参见com.huawei.bigdata.flink.examples.TestCreateTenants。 public class
个方面。 查看ZooKeeper中znode的ACL。 增加ZooKeeper中znode的ACL。 修改ZooKeeper中znode的ACL。 删除ZooKeeper中znode的ACL。 ZooKeeper的ACL权限说明: ZooKeeper目前支持create,dele
402653184 B = 384 MB 可能原因 目录配置的剩余的空间小于写文件实际需要的空间。 原因分析 HDFS支持设置某目录的配额,即限制某目录下的文件最多占用空间大小,例如如下命令是设置“/tmp/tquota”目录最多写入150MB的文件(文件大小*副本数)。 hadoop dfsadmin
应用开发流程是相同的。 开发流程中各个阶段的说明如图1和表1所示。 图1 Kafka客户端程序开发流程 表1 Kafka客户端程序开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发客户端前,需要了解Kafka的基本概念,根据实际场景判断,需要开发的角色是Producer还是Consumer。
欠费说明 用户在使用MRS时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响MRS集群的正常运行,请及时充值。 欠费原因 在按需计费模式下账户的余额不足。 欠费影响 当您的账号因按需MRS集群资源自动扣费导致欠费后,账号将变成欠费状态。欠费后,按需资源不会
Kudu应用开发常见问题 Kudu Java API接口介绍 Kudu Java API接口可参考官网描述。 其他Kudu完整和详细的接口可以直接参考官方网站上的描述。 地址: https://kudu.apache.org/apidocs。 父主题: Kudu开发指南(安全模式)
Kudu应用开发常见问题 Kudu Java API接口介绍 Kudu Java API接口可参考官网描述。 其他Kudu完整和详细的接口可以直接参考官方网站上的描述。 地址: https://kudu.apache.org/apidocs。 父主题: Kudu开发指南(普通模式)
CLI详细的使用方法参考官方网站的描述:http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示: spark-shell 提供了一个简单学习API的方法,类似于
加入黑名单中的Executor会残留。 MRS集群Spark2x的“listing.ldb”文件夹不自动清理,导致根目录写满。 Spark数据保护黑名单中防止创建表Location指定路径到库后,导致删除表之后库数据丢失。 Spark启用Ranger鉴权场景中的show tables性能增强。