检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
is=IDLE awp=false se=false i=false al=0},r=1,c=true/true,a=IDLE,uri=https://10.244.224.65:21495/api/v1/cdl/monitor/jobs/metrics,age=19382} | SslConnection
参数解释: 错误描述。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 请求示例 更新用户(组)与IAM委托的映射关系示例 PUT https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/agency-mapping {
t间隔为分钟级。 FlinkSQL作业写MOR表时需要做异步compaction,控制compaction间隔的参数,见Hudi官网:https://hudi.apache.org/docs/configurations.html MRS 3.2.1及以后版本默认Hudi写表是F
truststore.password,前者表示truststore的位置,后者表示truststore密码。 否 说明: 该参数未配置时为非安全Kafka。 如果需要配置SSL,truststore.jks文件生成方式可参考“Kafka开发指南 > 客户端SSL加密功能使用说明”章节。
根据集群版本选择对应的分支,下载并获取MRS相关样例工程。 例如本章节场景对应示例为“WordCountDemo”样例,获取地址:https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.1.0/src/kafka-examples。
恢复Flink元数据需要先停止Flink服务。 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份Flink元数据。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置MRS集群间互信。如果主集群部署为普通模式,则不需要配置互信。
14005 HDFS NameNode主备倒换 次要 14028 HDFS HDFS磁盘均衡任务 次要 14029 HDFS 主NameNode进入安全模式并生成新的FSimage 次要 17001 Oozie Oozie工作流执行失败 重要 17002 Oozie Oozie定时任务执行失败
该集群HBase meta表权限,则cluster1的userA可以访问cluster2的HBase meta表。 跨Manager之间的安全集群间组件互相访问,需要先配置系统互信。 以下分别阐述cluster1上使用userA访问cluster2的Hive、HBase、Kafka组件。
该集群HBase meta表权限,则cluster1的userA可以访问cluster2的HBase meta表。 跨Manager之间的安全集群间组件互相访问,需要先配置系统互信。 以下分别阐述cluster1上使用userA访问cluster2的Hive、HBase、Kafka组件。
对应的默认用户组名称为“c<集群ID>_默认用户组名”,例如“c2_hadoop”。 用户 请参见MRS集群用户账号一览表。 服务相关用户安全参数 HDFS 参数“dfs.permissions.superusergroup”表示HDFS最高权限管理员组,默认值为“supergroup”。
路径。 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份ClickHouse元数据。如果主备集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置MRS集群间互信。如果主备集群部署为普通模式,则不需要配置互信。
String 参数解释: 错误描述。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 请求示例 查询单个作业请求示例 GET https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions/{job_execution_id}
根据集群版本选择对应的分支,下载并获取MRS相关样例工程。 例如本章节场景对应示例为“SparkHivetoHbase”样例,获取地址:https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.1.5/src
以root用户登录安装HDFS客户端的服务器,执行以下命令配置环境变量。 source HDFS客户端安装目录/bigdata_env 如果集群为安全模式,执行以下命令认证用户身份。 kinit hdfs 在HDFS客户端执行以下命令,检查HDFS根目录下全部目录和文件是否状态正常。 hdfs
权限。 特别的,由于普通模式启动客户端不需要认证,sasl认证类型的ACL在普通模式下将不能使用。本文所有涉及sasl方式的鉴权操作均是在安全集群中进行。 表1 Zookeeper的五种ACL 权限说明 权限简称 权限详情 创建权限 create(c) 可以在当前znode下创建子znode
关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择“cdm.medium”即可,满足大部分迁移场景。 CDM集群所在VPC、子网、安全组,选择与MRS集群所在的网络一致。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MRS HDFS。 图2
oken。 INDEX d ID TYPE tokenbf_v1(256,2,0) GRANULARITY 5 索引创建详见官方文档 https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/me
弹性云服务器客户端安装目录需要分配足够的磁盘空间,至少40GB。 弹性云服务器需要与MRS集群在同一个VPC网络及安全组中。 MRS集群安全组入方向将所有端口对客户端节点放开,具体操作请参考添加安全组规则。 弹性云服务器操作系统已安装NTP服务,且NTP服务运行正常。 若未安装,在配置了yum源的情况下,可执行yum
Result=<操作结果> Detail=<具体信息> | xxx 2024-05-22 14:12:24,967 | INFO | https-jsse-nio-192.168.43.244-29860-exec-10 | UserName=hetuserver/hadoop.
前提条件 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份ClickHouse业务数据。如果主备集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置MRS集群间互信。如果主备集群部署为普通模式,则不需要配置互信。