检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加MRS租户资源池 在MRS集群中,用户从逻辑上对YARN集群的节点进行分区,使多个NodeManager形成一个YARN资源池。每个NodeManager只能属于一个资源池。系统中默认包含了一个名为“default”的资源池,所有未加入用户自定义资源池的NodeManager属于此资源池。
Structure”页面,选择“Artifacts”,单击“+”并选择“JAR > Empty”。 图1 添加Artifacts 您可以根据实际情况设置Jar包的名称、类型以及输出路径。 图2 设置基本信息 选中“'FlinkStreamJavaExample' compile output”,右键选择“Put
存服务meta中获取临时AKSK,meta故障时也不直接访问ECS元数据接口,以免触发流控导致节点被加入黑名单。 如果希望meta故障时,从ecs元数据接口获取临时AKSK,则将参数配置为true。 升级HDFS上组件的zip包 登录集群主节点并执行以下命令: su - omm cd
隔离MRS集群节点 用户发现某个主机出现异常或故障,无法提供服务或影响集群整体性能时,可以临时将主机从集群可用节点排除,使客户端访问其他可用的正常节点。在为集群安装补丁的场景中,也支持排除指定节点不安装补丁。 隔离主机仅支持隔离非管理节点。 该任务指导用户在MRS上根据实际业务或运维规划手工将主机隔离。
作。否则会丢失从备份时刻到恢复时刻之间的Manager数据。 对系统的影响 恢复过程中需要重启Controller,重启时FusionInsight Manager无法登录和操作。 恢复过程中需要重启所有集群,集群重启时无法访问。 Manager数据恢复后,会丢失从备份时刻到恢复
置安全认证,确保Flink程序能够正常运行。 当前Flink系统支持认证和加密传输,要使用认证和加密传输,用户需要做如下准备: 安全认证 图1 Flink系统认证方式 Flink整个系统存在三种认证方式,需参考下表进行配置: 使用kerberos认证:Flink yarn client与Yarn
息,包括实例所属租户名、对应实例数量、实例状态和资源总量等,实例状态信息如下: 图1 计算实例状态 绿色图标:实例处于运行中或亚健康状态。 红色图标:实例故障。 灰色图标:实例已停止、待启动。 蓝色图标:实例处于其他状态,包括扩容中、缩容中、滚动重启中、创建中、启动中、安全启动中
Structure”页面,选择“Artifacts”,单击“+”并选择“JAR > Empty”。 图1 添加Artifacts 您可以根据实际情况设置Jar包的名称、类型以及输出路径。 图2 设置基本信息 选中“'FlinkStreamJavaExample' compile output”,右键选择“Put
M用户同步MRS集群说明。 当IAM用户的用户组的所属策略从MRS ReadOnlyAccess向MRS CommonOperations、MRS FullAccess、MRS Administrator变化时,或者反之从MRS CommonOperations、MRS FullAccess、MRS
e Doris。 该组件当前为公测阶段,若需使用需联系技术支持申请白名单开通。 Doris架构 Doris整体架构如下图所示,FE和BE节点可以横向无限扩展。 图1 Doris架构 表1 参数说明 名称 说明 MySQL Tools Doris采用MySQL协议,高度兼容MySQ
park2x”目录下的“hive-site.xml”中“hive.security.authenticator.manager”参数的值,从“org.apache.hadoop.hive.ql.security.SessionStateUserMSGroupAuthenticator”改为“org
Structure”页面,选择“Artifacts”,单击“+”并选择“JAR > Empty”。 图2 添加Artifacts 根据实际情况设置Jar包的名称、类型以及输出路径,例如配置为“flink-demo”。 图3 设置基本信息 选中“'FlinkStreamJavaExample' compile
ParameterTool paraTool = ParameterTool.fromArgs(args); // 构造流图,将自定义Source生成的数据写入Kafka DataStream<String> messageStream = env
HetuEngine支持对接MySQL操作的SQL语法:SHOW CATALOGS/SCHEMAS/TABLES/COLUMNS、DESCRIBE、USE、SELECT表/视图。 HetuEngine支持的MySQL数据源的Schema和Table名称不区分大小写。 不支持在具有CHAR或VARCHAR等文本类型的列上下推任何谓词。
字段自动去重。 方案架构 离线数据可以从数据湖加载,也可以直接加载本地文件。从数据湖加载可以使用工具CDM,在没有CDM工具时,可以直接使用外表加载、BrokerLoad的方式。本地文件加载则使用Doris自带的StreamLoad工具。 图1 离线数据加载 操作流程 步骤1:创建RDS
Structure”页面,选择“Artifacts”,单击“+”并选择“JAR > Empty”。 图1 添加Artifacts 您可以根据实际情况设置Jar包的名称、类型以及输出路径。 图2 设置基本信息 选中“'FlinkStreamJavaExample' compile output”,右键选择“Put
权限管理,具体操作可参考添加Hive的Ranger访问权限策略。 Hive权限模型 使用Hive组件,必须对Hive数据库和表(含外表和视图)拥有相应的权限。在MRS中,完整的Hive权限模型由Hive元数据权限与HDFS文件权限组成。使用数据库或表时所需要的各种权限都是Hive权限模型中的一种。
“Hive读写权限”:Hive数据表管理权限,可设置与管理已创建的表的数据操作权限。 Hive角色管理支持授予Hive管理员权限、访问表和视图的权限,不支持数据库的授权。 Hive管理员权限不支持管理HDFS的权限。 如果数据库中的表或者表中的文件数量比较多,在授权时可能需要等待一
“Hive读写权限”:Hive数据表管理权限,可设置与管理已创建的表的数据操作权限。 Hive角色管理支持授予Hive管理员权限、访问表和视图的权限,不支持数据库的授权。 Hive管理员权限不支持管理HDFS的权限。 如果数据库中的表或者表中的文件数量比较多,在授权时可能需要等待一
在Hue WebUI使用元数据浏览器 操作场景 用户需要使用图形化界面在集群中管理Hive的元数据,可以通过Hue完成任务。 Metastore管理器使用介绍 访问Hue WebUI,请参考访问Hue WebUI界面。 选择“Data Browsers > Metastore Tables”,进入“Metastore