检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API读取HBase表数据 功能简介 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。也可以为Get对象设定参数值,如列族的名称和列的名称。查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 代码样例 以下代码片段在com.huawei.bigdata
yarn-resourcemanager-period-check.log Yarn resourcemanager的周期检查日志 hadoop.log Hadoop的客户端日志 env.log 实例启停前的环境信息日志。 审计日志 yarn-audit-<process_name>.log ranger-plugin-audit
ite.xml”、“core-site.xml”、“hbase-site.xml”。 方法二:通过准备HBase应用开发和运行环境中解压客户端文件的方法获取配置文件,需要在获取的“hbase-site.xml”中手动添加以下配置,其中“hbase.thrift.security.qop”的参数值与1保持一致。
启动前无法提供服务。 服务参数配置如果使用旧的存储目录,需要更新为新目录。 更改NodeManager的存储目录以后,需要重新下载并安装客户端。 前提条件 在各个数据节点准备并安装好新磁盘,并格式化磁盘。 规划好新的目录路径,用于保存旧目录中的数据。 准备好MRS集群管理员用户admin。
MRS导出数据到OBS加密桶失败如何处理? 问: MRS导出数据到OBS加密桶失败如何处理? 答: 目前仅MRS 1.9.x及之后版本支持OBS加密桶功能,MRS 1.8.x及之前版本不支持OBS加密桶功能。 如需使用OBS加密桶请使用MRS 1.9.x及之后版本集群。 父主题:
式表数据写入性能也会变慢,单批次分布式表写,写入节点的磁盘和网络IO会成为性能瓶颈点。 分布式表转发给各个shard成功与否,插入数据的客户端无法感知,转发失败的数据会不断重试转发,消耗CPU。 大批量数据导入要分时、分节点、扩容 如果数据盘为SATA盘,当大批量数据集中插入时候
将新获取的AK/SK重新配置至Resource的“obs.access_key”和“obs.secret_key”参数中。 等待1分钟左右,登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”,在告警列表中查看该告警是否清除。 是,操作结束。 否,执行7。 连接OBS失败。 检查集群和OBS网络是否连通,初始化配置。
com/edenhill/librdkafka/tree/v0.11.1。 ./configure make make install 使用客户端时增加如下配置项。 "security.protocol": "SASL_PLAINTEXT", "sasl.kerberos.service
查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 使用ClickHouse客户端,查询ClickHouse表数据是否和HDFS导入的数据一致。 父主题: 创建Loader数据导入作业
Manager界面,选择“运维 > 告警 > 告警”。 在告警列表中单击该告警,从完整的告警信息中的“定位信息”处获得“主机名”。 以omm用户进入主集群HBase客户端所在节点。 如果集群采用了安全版本,要进行安全认证,然后使用hbase用户进入hbase shell界面。 cd /opt/client source
周期性收集日志功能目前仅支持MapReduce应用,且MapReduce应用必须进行相应的日志文件滚动输出配置,需要在MapReduce客户端节点的“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中进行如表3所示的配置。 表1 参数说明 参数 描述 默认值
样例:通过Loader将数据从OBS导入HDFS 操作场景 用户需要将大量数据从集群外导入集群内的时候,可以选择从OBS导入到HDFS的方式。 前提条件 已准备业务数据。 已创建分析集群。 操作步骤 将业务数据上传到用户的OBS文件系统。 获取用户的AK/SK信息,然后创建一个OBS连接和一个HDFS连接。
family、column qualifier、timestamp、type、MVCC version这6个字段组成。Value就是对应存储的二进制数据对象。 Column Family 列族,一个表在水平方向上由一个或多个Column Family组成。一个CF(Column Family)
添加OBS的Ranger访问权限策略 操作场景 Ranger管理员可以通过Ranger为OBS用户配置OBS目录或文件的读、写权限。 本章节仅适用于MRS 3.3.0-LTS及之后版本。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户组。 已安装Guardian服务。
查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 使用ClickHouse客户端,查询ClickHouse表数据是否和HDFS导入的数据一致。 父主题: 数据导入
rJavaExample 通过JDBC访问Spark SQL的Java/Scala示例程序。 本示例中,用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 sparksecurity-examples/SparkThriftServerScalaExample
将新获取的AK/SK重新配置至Resource的“obs.access_key”和“obs.secret_key”参数中。 等待1分钟左右,登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”,在告警列表中查看该告警是否清除。 是,操作结束。 否,执行7。 连接OBS失败。 检查集群和OBS网络是否连通,初始化配置。
就会出现Region中存在多个HFile的情况,从而影响读取的性能。所以如果读取的性能不理想的时候,也要考虑写入的配置是否合理。 读数据客户端调优 Scan数据时需要设置caching(一次从服务端读取的记录条数,默认是1),若使用默认值读性能会降到极低。 当不需要读一条数据所有
阈值设置 > meta > OBS的readFully接口调用失败总数”,将阈值或平滑次数参数的值根据实际情况调大。 观察界面告警是否清除。 是,处理完毕。 否,执行3 联系OBS运维人员查看OBS服务是否正常。 是,执行4。 否,联系OBS服务运维人员修复OBS服务。 收集故障信息。
阈值设置 > meta > OBS的read接口调用失败总数”,将阈值或平滑次数参数的值根据实际情况调大。 观察界面告警是否清除。 是,处理完毕。 否,执行3。 联系OBS运维人员查看OBS服务是否正常。 是,执行4。 否,联系OBS服务运维人员修复OBS服务。 收集故障信息。 在FusionInsight