检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
partitionpath.field分区字段保持一致。 hoodie.datasource.write.keygenerator.class 默认可以配置为org.apache.hudi.keygen.SimpleKeyGenerator 和org.apache.hudi.keygen
请勿单独启停Kerberos/LDAP等基础组件,启停基础组件请勾选关联服务。 Kafka 删除Topic 该操作将会删除已有的主题和数据。 采用Kerberos认证,保证合法用户具有操作权限,并确保主题名称正确。 删除Kafka数据目录 该操作将会导致业务信息丢失。 请勿手动删除数据目录。 修改数据目录下内容(创建文件、文件夹)
Stage 每个Job由多个Stage组成,每个Stage是一个Task集合,由DAG分割而成。 Task 承载业务逻辑的运算单元,是Spark平台上可执行的最小工作单元。一个应用根据执行计划以及计算量分为多个Task。 Spark应用运行原理 Spark的应用运行架构如图 Spark应用运行架构所示,运行流程如下所示:
参数解释: 可用区列表。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 default_az_code String 参数解释: 默认可用区编码。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 support_physical_az_group Boolean
举例。 进入客户端安装目录/opt/client,执行下列命令初始化环境变量。 source bigdata_env 执行下列命令进行用户认证,这里以hdfs为例,用户可根据实际用户名修改(普通集群请跳过此步操作)。 kinit hdfs kinit一次的时效24小时。24小时后再次运行样例,需要重新执行kinit。
参数解释: MRS集群运行模式。 约束限制: 不涉及 取值范围: 0:普通集群,表示Kerberos认证关闭,用户可使用集群提供的所有功能。 1:安全集群,表示Kerberos认证开启,普通用户无权限使用MRS集群的“文件管理”和“作业管理”功能,并且无法查看Hadoop、Spa
MRS集群运行模式。 约束限制: 不涉及 取值范围: SIMPLE:普通集群,表示Kerberos认证关闭,用户可使用集群提供的所有功能。 KERBEROS:安全集群,表示Kerberos认证开启,普通用户无权限使用MRS集群的“文件管理”和“作业管理”功能,并且无法查看Hadoop、