检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS常用配置参数 参数入口 请参考修改集群服务配置参数进入HDFS服务配置页面。 参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值: com.huawei.mrs.
conf”文件中配置以下参数。 在spark-sql模式下配置:登录Spark客户端节点,在“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”文件中配置表5相关参数。 表5 spark-sql模式下的配置参数 参数 配置值 描述 spark
Hue常用配置参数 参数入口 参数入口,请参考修改集群服务配置参数进入Hue服务“全部配置”页面。 参数说明 Hue常用参数请参见表1。 表1 Hue常用参数 配置参数 说明 缺省值 范围 HANDLER_ACCESSLOG_LEVEL Hue的访问日志级别。 DEBUG ERROR
ALM-12057 元数据未配置周期备份到第三方服务器的任务 告警解释 系统安装完成后会检查元数据是否有周期备份到第三方服务器的任务,然后每1小时会检查一次。如果元数据未配置周期备份到第三方服务器的任务,将发送重要告警。 在用户创建元数据周期备份到第三方服务器的任务后,告警消除。
配置资源池的队列容量策略 添加资源池后,需要为YARN任务队列配置在此资源池中可使用资源的容量策略,队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。用户可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后,YARN任务队列与资源池形成关联关系。
单击“计算实例”,查看待操作的租户的实例状态,当绿色图标和蓝色图标数量均为“0”时,可执行5配置开启物化视图改写能力。 在“计算实例”页签,在待操作的实例所属租户所在行的“操作”列单击“配置”,进入“配置实例”页签,添加如下自定义参数。 表1 自定义参数 名称 值 参数文件 materialized
单击“计算实例”,查看待操作的租户的实例状态,当绿色图标和蓝色图标数量均为“0”时,可执行5配置开启物化视图改写能力。 在“计算实例”页签,在待操作的实例所属租户所在行的“操作”列单击“配置”,进入“配置实例”页签,添加如下自定义参数。 名称 值 参数文件 描述 rewrite.cache
实际运用中,HetuEngine管理员可选择通过配置“维护实例”等,开启物化视图的自动创建与自动刷新功能。业务用户可以通过配置客户端Session来获得基于自动创建的物化视图的自动改写与提速。 该能力可以极大降低用户使用物化视图功能的使用难度,带来业务无感知的分析加速效果。Het
配置互信MRS集群的用户权限 配置完跨Manager集群互信后,需要在互信的系统上设置访问用户的权限,这样指定的用户才能在互信系统上进行对应的业务操作。 前提条件 已完成跨集群互信配置,然后刷新两个集群的客户端。 配置互信集群的用户权限(MRS 3.x及之后版本) 登录本端系统的FusionInsight
配置MRS集群安全通信授权 MRS集群通过管理控制台为用户发放、管理和使用大数据组件,大数据组件部署在用户的VPC内部,MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则,而开通相应的安全组规则需要获取用户授权,此授权过程称为通信安全授权。 若不
配置Hadoop数据传输加密 设置安全通道加密 默认情况下,组件间的通道是不加密的。您可以配置如下参数,设置安全通道是加密的。 参数修改入口:在FusionInsight Manager系统中,选择“集群 > 服务 > 服务名 > 配置”,展开“全部配置”页签。在搜索框中输入参数名称。
配置如下参数,设置安全通道为加密的。 参数修改入口:在FusionInsight Manager系统中,选择“集群 > 服务 > Kafka > 配置”,展开“全部配置”页签,在搜索框中输入相关参数名称。 配置后应重启对应服务使参数生效。 Kafka服务端的传输加密相关配置参数如表1所示。
HDFS > 配置”,展开“全部配置”页签。在搜索框中输入参数名称。 配置后应重启对应服务使参数生效。 表1 参数说明 配置项 描述 默认值 hadoop.rpc.protection 须知: 设置后需要重启服务生效,且不支持滚动重启。 设置后需要重新下载客户端配置,否则HDFS无法提供读写服务。
配置Hive分区元数据冷热存储 分区元数据冷热存储介绍 为了减轻集群元数据库压力,将长时间未使用过的指定范围的分区相关元数据移动到备份表,这一过程称为分区数据冻结,冻结的分区数据称为冷分区,未冻结的分区称为热分区,存在冷分区的表称为冻结表。将被冻结的数据重新移回原元数据表中,这一过程称为分区数据解冻。
C时间。 查看Worker进程的GC时间是否大于5秒。 是,执行1.e。 否,执行2。 单击“组件管理 > Presto > 服务配置 > 全部配置 > Presto > Worker”。将“JAVA_OPTS”参数中的最大堆内存-Xmx值根据实际情况调大。 观察界面告警是否清除。
k。 安装和配置IntelliJ IDEA 开发环境的基本配置,建议使用2019.1或其他兼容版本。 说明: 若使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保IntelliJ IDEA中的JDK配置为Oracle
SDK”为“SDKs”中添加的JDK。 图6 修改“Module SDK” 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings
配置Hive分区元数据冷热存储 分区元数据冷热存储介绍 为了减轻元数据库压力,将长时间未使用过的指定范围的分区相关元数据移动到备份表,这一过程称为分区数据冻结,移动的分区数据称为冷分区,未冻结的分区称为热分区,存在冷分区的表称为冻结表。将被冻结的数据重新移回原元数据表,这一过程称为分区数据解冻。
告警的主机名称。 以root用户登录该告警的主机地址,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令su - omm,执行sh ${BIGDATA_HOME}/om-server/OMS/workspace0/ha/module/hacom/script/status_ha
告警的主机名称。 以root用户登录该告警的主机地址,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令su - omm,执行sh ${BIGDATA_HOME}/om-server/OMS/workspace0/ha/module/hacom/script/status_ha