检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加参数hoodie.payload.ordering.field为preCombineField的值。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
合min.insync.replicas可以确保多副本写入成功,只要有一个副本保持活跃状态,记录将不会丢失。 说明: 该参数在kafka客户端配置文件中配置。 min.insync.replicas 1 当Producer设置acks为-1时,指定需要写入成功的副本的最小数目。 配置高可用、高性能的影响:
xml”中(例如“客户端安装路径/HDFS/hadoop/etc/hadoop/”)配置如下参数。 表1 参数描述 参数 描述 默认值 io.compression.codecs 为了使LZC压缩格式生效,在现有的压缩格式列表中增加如下值: “com.huawei.hadoop.datasight.io.compress
使用。 可执行6验证加密是否配置成功。 验证加密是否配置成功 仅当所配置的空表允许写入测试数据时可执行该操作。 以客户端安装用户,登录安装客户端的节点。切换到客户端安装目录,例如:/opt/client。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
Flink任务异常停止时会在ZooKeeper、HDFS中残留目录,开启FlinkServer目录残留清理功能可以清理残留目录。 配置作业残留信息自动清理步骤 登录Manager页面。 选择“集群 > 服务 > Flink > 配置 > 全部配置”,搜索参数“ClearUpEnabled”并将值设置为
计算实例为维护实例时,其状态需为“已停止”。 配置HetuEngine维护实例步骤 使用用于访问HetuEngine WebUI界面的用户登录FusionInsight Manager。 选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在概览
配置成“false”时,存在一定的安全风险。 安全模式支持配置创建临时函数是否需要ADMIN权限功能,而普通模式不支持该功能。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 在搜索框中输入参数名称,搜索“hive
编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 若运行“Spark on
编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 若运行“Spark on
上同步数据,此时,使用id命令可能会获取不到Ldap中的数据,影响上层业务。 可能原因 nscd服务未启动。 网络故障,无法访问Ldap服务器。 Name Service服务异常。 OS执行命令慢导致无法查询用户。 处理步骤 检查nscd服务是否启动。 在FusionInsight
环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 若运行“Spark on
环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 若运行“Spark on
可能原因 告警阈值配置不合理。 HetuEngine QAS数据的磁盘配置无法满足业务需求,磁盘使用率达到上限。 处理步骤 检查阈值设置是否合理 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置”,在服务列表下面,选择“HetuEngine > 磁盘 >
rk2x、Kafka、Storm。 通过Ranger配置用户权限策略 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 在Ranger首页的“Service Manager”区域内,单击组件名称下的权限插件
权,否则使用组件自身鉴权机制。 图1 启用Ranger鉴权 操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 在首页中单击“STORM”区域的“Storm”。 单击“Add New Policy”,添加Storm权限控制策略。
求,您还可以变更计费模式。详细介绍请参见变更计费模式概述。 计费项 MRS集群的计费项由MRS服务管理费用和IaaS基础设施资源费用(弹性云服务器,云硬盘)组成。如需了解每种计费项的计费因子、计费公式等详细信息,请参考计费项。 如需了解实际场景下的计费样例以及各计费项在不同计费模式下的费用计算过程,请参见计费样例。
reduce-client-hs/HistoryServerRest.html。 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录。 进入客户端安装目录“/opt/client”,执行下列命令初始化环境变量。 source bigdata_env kinit
修改OMS数据库管理员密码 建议管理员定期修改OMS数据库管理员的密码,以提升系统运维安全性。 使用root用户登录主管理节点。 ommdba用户密码不支持在备管理节点修改,否则集群无法正常工作。只需在主管理节点执行修改操作,无需在备管理节点操作。 执行以下命令,切换用户。 sudo
-3将jstack信息打印到.out日志文件里,从而导致.out日志文件过大。 处理步骤 在每个HBase实例的节点上部署定期清理.out日志文件的定时任务。后台登录HBase的实例节点,在crontab -e中添加每天0点清理.out日志的定时任务。 crontab -e 00 00 * * * for
已安装KafkaManager服务的集群。 获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。 访问KafkaManager的WebUI 登录集群详情页面,选择“组件管理 > KafkaManager”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的