检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
总体Flink管理的内存大小,没有默认值,不包含Metaspace和Overhead,Standalone模式时设置。 整体内存。 taskmanager.memory.process.size: none 整个Flink进程使用的内存大小,容器模式时设置。 FrameWork taskmanager.memory.framework
32767:from all lookup default 没有配置ntp外部服务器时只会有一条om路由信息“om_rt”。 本章节仅适用于MRS 3.x及以后版本。 如果FusionInsight Manager创建的路由信息与企业网络规划配置的路由信息发生冲突时,集群管理员可以使用“autoroute
需确保集群资源充足。单租户多实例需要的资源为单实例资源*实例个数(每个计算实例的规格一致,不支持差异化配置)。 需使用短连接方式,并以HSFabric模式连接HetuEngine,该模式支持更优的负载均衡调度能力。 1 取值范围:1-50 配置“Coordinator容器资源配置”,参数配置请参考表2。 表2
11:00:00将集群转为包年/包月计费,购买时长为1个月。那么在3~4月份,该集群总共产生多少费用呢? 计费构成分析 可以将集群的使用阶段按照计费模式分为两段:在2023/03/18 15:30:00 ~ 2023/03/20 11:00:00期间为按需计费,2023/03/20 11:00:00
n对接OBS文件系统功能是正常的。 OBS并行文件系统名称/文件名称:OBS文件路径需写至目录层级。 集群已启用Kerberos认证(安全模式)需参考Ranger权限配置在Ranger中为组件操作用户赋予OBS路径的“Read”和“Write”权限。 Ranger权限配置 登录FusionInsight
通过Manager添加租户(MRS 3.x及之后版本) 登录Manager,单击“租户资源”。 单击,打开添加租户的配置页面,参见表3为租户配置属性。 如果当前为MRS 3.3.0之前的3.x版本集群,首先在“集群”参数中选择当前要创建租户的集群。 表3 租户参数一览表(MRS 3.x版本) 参数名 描述
link等组件的补丁生效,会导致Spark client模式的作业运行失败。 MRS 3.2.0-LTS.1.1版本的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启Flink、Spark2x、Kafka和CDL服务,以使补丁功能生效。组件重启期间,
${HADOOP_HOME}/etc/hadoop/hdfs-site.xml user.keytab 对于Kerberos安全认证提供HDFS用户信息。 如果是安全模式集群,您可以联系管理员获取相应账号对应权限的keytab文件和krb5文件。 krb5.conf Kerberos server配置信息。
清除。 是,处理完毕。 否,执行6。 重启服务期间服务不可用,Flume业务中断。 重启实例期间若配置SinkGroup的failover模式且至少保持一个实例正常运行时Flume业务不中断,否则Flume业务会中断。 收集故障信息。 在FusionInsight Manager界面,选择“运维
清除。 是,处理完毕。 否,执行6。 重启服务期间服务不可用,Flume业务中断。 重启实例期间若配置SinkGroup的failover模式且至少保持一个实例正常运行时Flume业务不中断,否则Flume业务会中断。 收集故障信息。 在FusionInsight Manager界面,选择“运维
户端安装目录。 cd {客户端安装路径} 执行以下命令配置环境变量。 source bigdata_env 执行以下命令进行用户认证(普通模式跳过此步骤)。 kinit 组件业务用户 执行以下命令登录客户端工具。 zkCli.sh -server ZooKeeper角色实例所在节点业务IP:
使用Spark2x实现车联网车主驾驶行为分析 应用场景 本实践基于华为云MapReduce服务所编写,用于指导您了解MRS的基本功能,利用MRS服务的Spark2x组件,对车主的驾驶行为进行分析统计,得到用户驾驶行为的分析结果。 原始数据为车主的驾驶行为信息,包括车主在日常的驾驶
Node”,如MapReduce、Java等。 所有的“Action Node”以有向无环图DAG(Direct Acyclic Graph)的模式部署运行。所以在“Action Node”的运行步骤上是有方向的,当上一个“Action Node”运行完成后才能运行下一个“Action
清除。 是,处理完毕。 否,执行6。 重启服务期间服务不可用,Flume业务中断。 重启实例期间若配置SinkGroup的failover模式且至少保持一个实例正常运行时Flume业务不中断,否则Flume业务会中断。 收集故障信息。 在FusionInsight Manager界面,选择“运维
重启受影响的服务或实例观察界面告警是否清除。 是,处理完毕。 否,执行6。 重启服务期间服务不可用,Flume业务中断。 重启实例期间若配置SinkGroup的failover模式且至少保持一个实例正常运行时Flume业务不中断,否则Flume业务会中断。 收集故障信息。 在FusionInsight Manager界面,选择“运维
为当前租户选择动态计算资源。 选择“Yarn”时,系统自动在Yarn中以租户名称创建任务队列。 不选择“Yarn”时,系统不会自动创建任务队列。 配置模式 计算资源参数配置模式。 选择“基础”时,只需配置“默认资源池容量 (%)”参数即可。 选择“高级”时,可手动配置资源分配权重,租户的最小/最大/预留资源。
用于指定列被修改后出现的位置)或者以上任意组合。如果语法中包含了分区子句,那么相应分区的元数据也会一起变动。CASCADE模式会让语法对表和表分区的元数据产生作用,而默认的模式为RESTRICT,对列的修改,仅对表的元数据产生作用。 列修改命令只能修改表/分区的元数据,而不会修改数据本身。
管理资源:Clickhouse权限管理支持的资源如表1所示。 资源权限:ClickHouse支持的资源权限如表2所示。 本章节不支持MRS 3.1.0普通模式(未开启Kerberos认证)集群。 表1 ClickHouse支持的权限管理对象 资源列表 是否集成 备注 数据库 是(一级) - 表 是(二级)
数,若原来为偶数则修改为奇数; 执行命令vi /etc/ldap.conf进入编辑模式,按“Insert”键开始编辑,然后将URI配置项的前两个IP进行调换。 修改完成后按“Esc”键退出编辑模式,并输入:wq保存退出。 执行命令service nscd restart,重启nscd服务,等待5分钟,再次执行id
户剩余的资源容量,实际任务不会分配在此队列中运行。 不选择“Yarn”时,系统不会自动创建任务队列。 配置模式 计算资源参数配置模式。计算资源选择“Yarn”时,“配置模式”可选“基础”或“高级”。 基础:需配置“默认资源池容量 (%)”,配置当前租户在“default”资源池中使用的计算资源百分比。