检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kakfa消费者读取单条记录过长问题 问题背景与现象 和“Kafka生产者写入单条记录过长问题”相对应的，在写入数据后，用户开发一个应用，以消费者调用新接口（org.apache.kafka.clients.consumer.*）到Kafka上读取数据，但读取失败，报异常大致如下：
executor进程会内存溢出 支持提交作业，manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表，HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件 Spark执行load
如果您是首次使用MRS的用户，建议您学习并了解如下信息： 基础知识了解 通过MRS组件介绍和产品功能章节的内容，了解MRS相关的基础知识，包含MRS各组件的基本原理和增强特性介绍，以及MRS服务的特有概念和功能的详细介绍。 入门使用 您可以参考《快速入门》学习并上手使用MRS。《快速入门
通过HSBroker方式连接到HetuEngine，组装对应的SQL发送到HetuEngine执行，完成对Hive数据源的增删改查操作。 import jaydebeapi driver = "io.XXX.jdbc.XXXDriver" # need to change the value based
中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时： Linux环境已安装JDK，版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时，需要在Linux环境所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
ht Manager，修改该用户初始密码。 配置运行环境网络 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。 场景一：配置本地Windows开发环境与MRS集群节点内网络互通。 登录FusionInsight Manager，在“主页”右上
set(TableInputFormat.SCAN, scanToString) // 通过spark接口获取表中的数据 val rdd = sc.newAPIHadoopRDD(hbConf, classOf[TableInputFormat], classOf[I
set(TableInputFormat.SCAN, scanToString); // 通过spark接口获取表中的数据 JavaPairRDD rdd = jsc.newAPIHadoopRDD(hbConf, TableInputFormat.class, ImmutableBytesWritable
set(TableInputFormat.SCAN, scanToString); // 通过spark接口获取表中的数据 JavaPairRDD rdd = jsc.newAPIHadoopRDD(hbConf, TableInputFormat.class, ImmutableBytesWritable
ALM-45179 OBS readFully接口调用失败数高于阈值 告警解释 系统每30秒周期性检测OBS readFully接口调用失败数是否高于阈值，当检测到大于所设置阈值时就会产生该告警 。 当OBS readFully接口调用失败数小于阈值时，该告警会自动清除。 告警属性
ALM-45180 OBS read接口调用失败数高于阈值 告警解释 系统每30秒周期性检测OBS read接口调用失败数是否高于阈值，当检测到大于所设置阈值时就会产生该告警 。 当OBS read接口调用失败数小于阈值时，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除
下拉列表包含“用户组”中添加的全部组。 由于一个用户可以属于多个组（包括主组和附属组，主组只有一个，附属组可以有多个），设置用户的主组是为便于维护以及遵循hadoop社区的权限机制。此外用户的主组和其他组在权限控制方面，作用一致。 根据业务实际需要，在“角色”，单击“添加”，为单个用户绑定角色。
用户表的Region信息，例如，Region位置、起始RowKey及结束RowKey等信息。 元数据表和用户表的映射关系如图 元数据表和用户表的映射关系所示。 图4 元数据表和用户表的映射关系 数据操作流程 HBase数据操作流程如图 数据操作流程所示。 图5 数据操作流程 对H
ALM-45181 OBS write接口调用失败数高于阈值 告警解释 系统每30秒周期性检测OBS write接口调用失败数是否高于阈值，当检测到大于所设置阈值时就会产生该告警 。 当OBS write接口调用失败数小于阈值时，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除
样例工程中的data文件需要放到JDBCServer所在机器的home目录下 保证本地的data文件和创建的表的所属的用户和用户组保持一致 拼接JDBC URL。 HA模式下url的host和port必须为“ha-cluster”。 普通集群需要将样例代码中com.huawei.bigdata
Spark与其他组件的关系 Spark和HDFS的关系 通常，Spark中计算的数据可以来自多个数据源，如Local File、HDFS等。最常用的是HDFS，用户可以一次读取大规模的数据进行并行计算。在计算完成后，也可以将数据存储到HDFS。 分解来看，Spark分成控制端(Driver)和执行端（Ex
Spark2x与其他组件的关系 Spark和HDFS的关系 通常，Spark中计算的数据可以来自多个数据源，如Local File、HDFS等。最常用的是HDFS，用户可以一次读取大规模的数据进行并行计算。在计算完成后，也可以将数据存储到HDFS。 分解来看，Spark分成控制端(Driver)和执行端（Ex
询HetuEngine SQL任务 通过HSFabric连接方式实现，使用用户名和密码连接到HetuEngine，组装对应的SQL发送到HetuEngine执行。 import jaydebeapi driver = "io.XXX.jdbc.XXXDriver" # need
调用FileSystem中的create接口获取文件系统客户端 调用FileSystem中的crteateFile接口创建文件 调用FileOutStream中的wirte接口写文件 调用FileSystem中的openFile接口打开文件 调用FileInStream中的in接口读取文件 父主题： 开发Alluxio应用
调用fileSystem中的mkdir接口创建目录。 调用HdfsWriter的dowrite接口写入信息。 调用fileSystem中的open接口读取文件。 调用HdfsWriter的doAppend接口追加信息。 调用fileSystem中的deleteOnExit接口删除文件。 调用fil
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
