检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户已经在账号的对象存储服务(OBS)中创建了并行文件系统。 在MRS Manager,单击“系统设置”。 单击“维护”下方的“日志导出”。 “服务”选择服务,“主机”填写服务所部署主机的IP,“开始时间”与“结束时间”选择对应的开始与结束时间。
创建OBS并行文件系统 登录云服务管理控制台。 选择“存储 > 对象存储服务”,进入对象存储服务界面。 选择“并行文件系统 > 创建并行文件系统”,配置以下参数后,单击“立即创建”。 区域:选择MRS集群所在区域。 文件系统名称:自定义名称,例如“mrs-ck-obs”。
添加OBS的Ranger访问权限策略 操作场景 Ranger管理员可以通过Ranger为OBS用户配置OBS目录或文件的读、写权限。 本章节仅适用于MRS 3.3.0-LTS及之后版本。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户组。
如果源端目录为空,在执行迁移前,需要手动创建目的端目录,即手动创建“aaa”目录。 父主题: 使用HDFS
系统执行健康检查时,涉及检查对象的监控指标数据时,并非以当前实时的监控数据进行判断,而是收集近期的历史数据,因此存在时间延迟。 表1 健康检查报告记录 项目 说明 检查对象 表示被检查的对象,可打开下拉菜单查看详情。 状态 表示检查的结果状态,包含未发现问题、发现问题和检查中。
MRS_ECS_DEFAULT_AGENCY委托拥有对象存储服务的OBSOperateAccess权限和在集群所在区域拥有CESFullAccess(对开启细粒度策略的用户)、CES Administrator和KMS Administrator权限。
典型场景:从HDFS/OBS导出数据到SFTP服务器 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。
调用类TestMain下的init()方法会初始化Configuration对象: private static void init() throws IOException { // load hbase client info if(clientInfo
修改Kudu表 功能简介 通过KuduClient.alterTable(String name, AlterTableOptions ato)方法修改表对象。
获取样例工程 通过开源镜像站获取样例工程。 下载样例工程的Maven工程源码和配置文件,并在本地配置好相关开发工具,可参考通过开源镜像站获取样例工程。 根据集群版本选择对应的分支,下载并获取MRS相关样例工程。
对系统的影响 Doris部分特性和功能不可用,例如:冷热分离和Hive OBS Catalog等。 可能原因 获取的AK/SK失效。 连接OBS失败。 处理步骤 确认上报告警原因。
Storage Policy关联的对象信息不支持修改数据存储path的信息,例如:bucket、endpoint、root_path等信息。 Storage Policy支持进行创建、修改和删除操作,删除前需要先保证没有表引用此Storage policy。
典型场景:从HDFS/OBS导入数据到HBase 操作场景 该任务指导用户使用Loader将文件从HDFS/OBS导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。
联系OBS运维人员查看OBS服务是否正常。 是,执行4。 否,联系OBS服务运维人员修复OBS服务。 收集故障信息。
Polygon表的每一行的所有点连接起来形成一个封闭的几何对象。 UDF输入参数: 参数 类型 说明 GEO_HASH_INDEX_COLUMN Long 空间数据表的GeoHashIndex列。
Guardian的典型特性包括: 提供获取访问OBS的临时认证凭据的能力。 提供访问OBS的细粒度权限控制的能力。 提供访问OBS的临时认证凭据的统一缓存刷新能力。
如果需要从OBS恢复数据,需要当前Doris集群已对接OBS,并具有访问OBS的权限。 规划好恢复数据保存表的数据库,数据表在HDFS的保存位置,以及访问恢复数据的用户清单。 检查Doris备份文件保存路径。 停止Doris的上层应用。
修改Kudu表 功能简介 通过KuduClient.alterTable(String name, AlterTableOptions ato)方法修改表对象。
安装在集群外的MRS客户端如何访问OBS 操作场景 在OBS存算分离场景下,用户可以通过委托方式获取访问OBS的临时AK、SK,继而访问OBS服务端。对于集群外节点的客户端,如果想要访问OBS,可以通过Guardian组件获取AK、SK实现。
针对OBS存储源,需满足以下条件,否则OBS表将授权失败: 集群中必须已安装Guardian服务。 OBS表的授权只能针对用户组。 MRS 3.5.0之前版本,仅支持已启用Kerberos认证的集群的OBS级联授权。