检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
所属的企业项目。 如果在全局页面设置为“ALL”,此处请从下拉列表中选择企业项目。 如果在全局页面已选择企业项目,则此处灰化不可选。 实例类型 Prometheus实例的类型,此处选择“Prometheus 通用实例”。 在实例列表单击上述创建的Prometheus实例名称,单击“设置”,查看并保存如下参数值。
如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。当前用户为准备HDFS应用开发用户时增加的开发用户。 人机用户:kinit MRS集群用户 例如:kinit hdfsuser 机机用户:kinit -kt 认证凭据路径 MRS集群用户
使用CDL从Hudi同步数据到ClickHouse 操作场景 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面,从Hudi导入数据到ClickHouse。 前提条件 集群已安装CDL、Hudi和ClickHouse服务且运行正常。
ink的步骤1至步骤4。 启动session。 普通集群(未开启Kerberos认证) yarn-session.sh -nm "session-name" -d 安全集群(开启Kerberos认证) “flink.keystore”和“flink.truststore”文件路径为相对路径时:
的聚合查询和多表关联查询。Doris不同的表引擎,适合不同的业务场景,可以根据业务特点选择不同的表格式。 图1 实时OLAP数据查询 操作流程 步骤1:通过StreamLoad将本地CSV文件导入Doris 步骤2:基于Unique表的单表查询 步骤1:通过StreamLoad将本地CSV文件导入Doris
使用Hudi-Cli.sh操作Hudi表 前提条件 对于开启了Kerberos认证的安全模式集群,已在集群FusionInsight Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点,执行如下命令:
ticket):票据授权票据。 解决方法 Flink对接Elasticsearch作业在运行过程中,TGT超期后会重新进行认证,此时Elasticsearch缓存的票据信息没有更新,导致认证失败。可通过在“客户端安装路径/Flink/flink/conf/flink-conf.yaml”的“env
使用Hudi-Cli.sh操作Hudi表 前提条件 对于开启了Kerberos认证的安全模式集群,已在集群FusionInsight Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点,执行如下命令:
/opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit 组件业务用户 执行以下命令,创建Kafka的Topic。详细的命令使用可以参考创建Kafka
修改Kafka Topic配置 操作场景 用户可以根据业务需要,使用集群客户端创建Kafka Topic。启用Kerberos认证的集群,需要拥有管理Kafka主题的权限。也可以通过KafkaUI修改Topic Configs。 安全模式下,KafkaUI对修改Topic Con
修改Kafka Topic配置 操作场景 用户可以根据业务需要,使用集群客户端创建Kafka Topic。启用Kerberos认证的集群,需要拥有管理Kafka主题的权限。也可以通过KafkaUI修改Topic Configs。 安全模式下,KafkaUI对修改Topic Con
/opt/hadoopclient 执行以下命令,配置环境变量。 source bigdata_env 根据集群认证模式,完成HetuEngine客户端登录。 安全模式:执行以下命令,完成用户认证并登录HetuEngine客户端。 kinit hetu_test hetu-cli --catalog
n执行Distcp进行复制。 数据快递服务(DES) 对于TB或PB级数据上云的场景,华为云提供数据快递服务 DES。将线下集群数据及已导出的元数据复制到DES盒子,快递服务将数据递送到华为云机房,然后通过云数据迁移 CDM将DES盒子数据复制到HDFS。 父主题: 数据迁移方案介绍
提交流程,启动流程,运行流程,终止流程,恢复流程等操作。 SDK 软件开发工具包SDK(SoftwareDevelopmentKit)是被软件工程师用于为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件的开发工具的集合。 Database pg数据库。 WebApp(Oozie)
的DataArts Studio实例保持一致。 创建具有访问OBS权限的ECS委托,详细操作请参考配置MRS集群通过IAM委托对接OBS中“创建具有访问OBS权限的ECS委托”部分。例如委托名称为“mrs_ecs_obs”。 创建包含Hive、Spark等组件的MRS集群,并创建用户、安装客户端。
补丁安装后操作 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.3.0.3.1补丁说明
)MRS集群,针对Core、Task类型节点的磁盘存在硬件故障。 Kafka组件不支持更换磁盘,如果存储Kafka数据的节点故障,请联系华为云技术支持处理。 登录FusionInsight Manager。 选择“主机”并单击故障主机的“主机名称”,在“实例”列表中单击DataNode,选择“更多
57:32261/config 基本认证(Basic Authentication) 在HTTP中,基本认证是一种用来允许Web浏览器或其他客户端程序在请求时提供用户名和密码形式的身份凭证的一种登录验证方式。 在请求发送之前,用Basic加一个空格标识基本认证,以用户名追加一个冒号然后串
分析“isSecurityEnabled()”,发现是否要发起认证,还需要判断configuration中是否有配置“hadoop.security.authentication”为“kerberos”。 本Hive业务应用确实没有正确设置此配置,所以被认为不需要做kerberos认证。 分析Hive组件的“jd
用户”。 在使用的用户所在行单击“修改”。 为用户添加supergroup组。 单击“确定”完成修改操作。 建议与总结 如果是开启Kerberos认证的集群,页面出现No data available优先排查权限问题。 父主题: 使用Hue