检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将datasource表的分区消息存储到Metastore中,并在Metastore中对分区消息进行处理。 优化datasource表,支持对表中分区执行增加、删除和修改等语法,从而增加与Hive的兼容性。 支持在查询语句中,把分区裁剪并下压到Metastore上,从而过滤掉不匹配的分区。 示例如下: select
执行openssl命令,查看是否能够进入openssl模式。 如果能够成功进入,则表示权限修改成功,如果不能进入,则表示权限未修改成功。 如果权限未修改成功,请检查执行的命令是否正确,或者联系运维人员。 权限修改成功后会重启LdapServer服务,请等待LdapServer服务重启成功后,重新登录MRS
sionInsight Manager中通过“运维 > 阈值配置 > 服务 > Presto > 集群状态 > Worker进程GC时间”修改阈值。当 Worker进程GC时间小于或等于告警阈值时,告警清除。 告警属性 告警ID 告警级别 可自动清除 44006 严重 是 告警参数
JDBCServer2x > 默认”,修改以下参数: 表1 参数列表1 参数 默认值 修改结果 spark.yarn.security.credentials.hbase.enabled false true 为了保证Spark2x可以长期访问HBase,建议不要修改HBase与HDFS服务的以下参数:
管理员admin具有所有可以操作的权限。 配置描述 进入Mapreduce服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 表1 参数描述 参数 描述 默认值 mapreduce.cluster.acls.enabled 是否开启对Job
原因是高可用配置项未修改。由于在Flink的配置文件中,“high-availability.zookeeper.client.acl”默认为“creator”,仅创建者有权限访问,新用户无法访问ZooKeeper上的目录导致yarn-session.sh执行失败。 解决方法如下: 修改客户端
创建大量节点后,follower与leader同步时数据量大,在集群数据同步限定时间内不能完成同步过程,导致超时,各个ZooKeeper Server启动失败。 参考修改集群服务配置参数章节,进入ZooKeeper服务“全部配置”页面。不断尝试调大ZooKeeper配置文件“zoo.cfg”中的“syncL
前提条件 已安装集群完整客户端。例如安装目录为“/opt/Bigdata/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 Impala on Kudu 登录安装客户端的节点。 执行如下命令初始化环境变量。 source /opt/Bigdata/client/bigdata_env
0及之后版本。 前提条件 需要MRS集群已安装HetuEngine组件并添加HSFabric实例。HSFabric实例的新增,删除,迁移和端口的修改,都需要重启Hue服务。 已在集群中创建HetuEngine管理员“人机”用户,如hetu_user,可参考创建HetuEngine权限角
下载认证凭据”,如图1所示。保存后解压得到用户的user.keytab文件与krb5.conf文件。用于在样例工程中进行安全认证。 图1 下载认证凭据 如果修改了组件的配置参数,需重新下载客户端配置文件并更新运行调测环境上的客户端。 父主题: 准备Presto应用开发环境
password", "XXXXX"); 按需修改客户端样例工程的“src/main/resources”目录下的“producer.properties”和“consumer.properties”中的“security.protocol”的值,同时修改“producer.properties”中的“bootstrap
opts”和“mapreduce.reduce.java.opts”,这两个参数为客户端参数,分别指定了Map/Reduce任务对应的JVM启动参数。 修改客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中“mapreduce.map.java.opts”和“mapreduce
GC次数超出阈值(连续3次检测超过12次)时产生该告警。用户可通过“运维 > 阈值设置 > Spark2x > GC次数 > JobHistory2x的Full GC次数”修改阈值。当JobHistory2x进程Full GC次数小于或等于阈值时,告警恢复。 MRS 3.3.0-LTS及之后的版本中,Spark2
ResourceManager堆内存使用率超出阈值(默认为最大堆内存的95%)时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Yarn”修改阈值。 平滑次数为1,Yarn ResourceManager堆内存使用率小于或等于阈值时,告警恢复;平滑次数大于1,Yarn Resou
properties。 配置文件保存路径:/opt/Bigdata/MRS_xxx/1_x_Worker/etc/catalog/ (请根据集群实际版本修改路径) 配置文件内容: connector.name=kudu kudu.client.master-addresses=KuduMasterIP1:port
登录FusionInsight Manager,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 修改Hive配置: 选择“WebHCat > 安全”,在该界面选择HTTPS或者HTTP,修改后重启Hive服务即可使用对应的协议。 父主题: Hive企业级能力增强
描述 默认值 spark.sql.authorization.enabled 是否开启datasource语句的权限认证功能。建议将此参数修改为true,开启权限认证功能。 true “hive-site.xml”配置文件 表2 参数说明(2) 参数 描述 默认值 hive.metastore
根据业务情况,准备好客户端,登录安装客户端的节点。 请根据客户端所在位置,参考安装客户端章节,登录安装客户端的节点。 执行以下命令,设置拓扑的jar包权限。 例如修改“/opt/storm/topology.jar”的权限: chmod 600 /opt/storm/topology.jar 执行以下命
通过Hue页面上传大文件时,上传失败。 回答 不建议使用Hue文件浏览器上传大文件,大文件建议使用客户端通过命令上传。 如果必须使用Hue上传,参考以下步骤修改Httpd的参数: 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。 vi $BIGDATA_HOME/o
udi。 前提条件 集群已安装CDL、Hudi服务且运行正常。 PgSQL数据库需要开启前置要求,操作步骤请参考PostgreSQL数据库修改预写日志的策略。 在FusionInsight Manager中创建一个人机用户,例如“cdluser”,加入用户组cdladmin、ha