检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
EXISTS resource_obs_hot_cold PROPERTIES ( "type" = "obs", "obs.bucket" = "3创建的OBS并行文件系统名称", "obs.root.path" = "数据存储的根目录", "obs.region" = "Doris服务所在集群所属区域"
x及之后版本)。 选择“集群 > 待操作集群的名称 > 概览 > 更多 > 下载客户端”。 下载集群客户端。 “选择客户端类型”选择“仅配置文件”,选择平台类型,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client/”。 登录Manager的主管理节点。
作业所依赖的原始lib包。无实体进程,作业运行过程不依赖FlinkResource。 FlinkServer:基于Web的作业管理二次开发平台,可直接在界面开发与管理FlinkSQL作业。具有运维管理界面化、作业开发SQL标准化等特点。 Flink结构如图2所示。 图2 Flink结构
HetuEngine等服务提供访问OBS的临时认证凭据的服务,只有对接OBS的场景下才需要安装Guardian组件。Guardian的典型特性包括: 提供获取访问OBS的临时认证凭据的能力。 提供访问OBS的细粒度权限控制的能力。 提供访问OBS的临时认证凭据的统一缓存刷新能力。
否,执行3。 联系OBS运维人员查看OBS服务是否正常。 是,执行4。 否,联系OBS服务运维人员修复OBS服务。 收集故障信息。 登录FusionInsight Manager界面,选择“集群 > 服务 > meta > 图表”,在“图表分类”选择“OBS流控”,在“OBS操作被流控次
SparkStreaming作业运行后报OBS访问403如何处理? 问: SparkStreaming作业运行几十个小时后失败,报OBS访问403如何处理? 答: 当用户提交作业需要读写OBS时,提交作业程序会默认为用户添加访问OBS的临时accesskey和secretkey,
运行MRS作业时如何读取OBS加密数据 MRS 1.9.x支持使用OBS文件系统中加密后的数据来运行作业,同时支持将加密后的作业运行结果存储在OBS文件系统中。目前仅支持通过OBS协议访问数据。 OBS支持使用KMS密钥的加解密方式对数据进行加解密,所有的加解密操作都在OBS完成,同时密钥管理在DEW服务。
MRS服务的默认配置文件中已经添加了OBS的实现类来对接OBS,如下所示: <property> <name>fs.AbstractFileSystem.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBS</value> </property>
Hive表的Location支持跨OBS和HDFS路径吗 问题 Hive表的location支持跨OBS和HDFS路径吗? 回答 Hive存储在OBS上的普通表,支持表location配置为hdfs路径。 同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。 Hive存储在OBS上的分
添加OBS的Ranger访问权限策略 操作场景 Ranger管理员可以通过Ranger为OBS用户配置OBS目录或文件的读、写权限。 本章节仅适用于MRS 3.3.0-LTS及之后版本。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户组。 已安装Guardian服务。
当使用Kryo序列化数据时,是否跟踪对同一个对象的引用情况。适用于对象图有循环引用或同一对象有多个副本的情况。否则可以设置为关闭以提升性能。 true spark.kryo.registrationRequired 是否需要使用Kryo来注册对象。当设为“true”时,如果序列化一个未使用Kryo注册的对象则会发生
Hive表的Location支持跨OBS和HDFS路径吗 问题 Hive表的location支持跨OBS和HDFS路径吗? 回答 Hive存储在OBS上的普通表,支持表location配置为hdfs路径。 同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。 Hive存储在OBS上的分
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS元数据接口调用平均时间超过阈值,会影响上层大数据计算业务的性能,导致某些计算任务的执行时间超过阈值。 可能原因 OBS服务端出现卡顿,或OBS客户端到OBS服务端之间的网络不稳定。 处理步骤 检查堆内存使用率。 在FusionInsight
的检查对象和结果状态。如果检查类型为集群时,“查看帮助”在“检查对象”的下拉菜单中。系统执行健康检查时,涉及检查对象的监控指标数据时,并非以当前实时的监控数据进行判断,而是收集近期的历史数据,因此存在时间延迟。 表1 健康检查报告记录 项目 说明 检查对象 表示被检查的对象,可打开下拉菜单查看详情。
protection”配置项的值保持一致。 根据业务需要,规划备份任务的类型、周期、备份对象、备份目录等策略规格。 如果数据要备份至OBS中,需要当前Doris集群已对接OBS,并具有访问OBS的权限。 备份Doris业务数据 在FusionInsight Manager,选择“运维
载集群客户端。 在“下载集群客户端”弹窗中填写集群客户端下载信息。 图3 下载集群客户端 “选择客户端类型”中选择“完整客户端”。 “选择平台类型”必须与待安装节点的架构匹配,以“x86_64”为例。 勾选“仅保存到如下路径”,填写下载路径,本示例以“/tmp/FusionIns
huawei.bigdata.hbase.examples包中。 调用类TestMain下的init()方法会初始化Configuration对象: private static void init() throws IOException { // load
功能简介 通过KuduClient.alterTable(String name, AlterTableOptions ato)方法修改表对象。 代码样例 如下是写数据的代码片段: // Alter the table, adding a column with a default
MemArtsCC与其他组件的关系 MemArtsCC与OBS的关系 Hadoop-OBS提供一种新的InputStream:OBSMemArtsCCInputStream,该InputStream从部署在计算侧上的MemArts集群读取数据,从而减少OBS服务端压力,提升数据读取性能的目标。 M
勾选“OBS接口调用成功率”,单击“确定”,查看OBS元数据接口调用成功率,确定是否有接口调用成功率低于阈值。 是,执行3。 否,执行5。 图1 OBS接口调用成功率 选择“集群 > 待操作集群的名称 > 运维 > 告警 > 阈值设置 > meta > OBS元数据接口调用成功率