检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
credentials (49); Account locked 前提条件 已确认主管理节点IP地址。 修改LDAP管理账户密码 以omm用户通过管理节点IP登录主管理节点。 执行以下命令,切换到目录。 cd ${BIGDATA_HOME}/om-server/om/meta-0.0
e收到客户端的close请求之后就会检查最后一个块的完成状态,只有当有足够的DataNode上报了块完成才可用关闭文件,检查块完成的状态是通过checkFileProgress函数检查的,打印如下: 2015-05-27 19:00:27,603 | INFO | IPC Server
varbinary 使用给定的key计算二进制块的HMAC值(采用sha512)。 CRC32、MD5、SHA1算法在密码学场景已被攻击者破解,不建议应用于密码学安全场景。 父主题: HetuEngine SQL函数和操作符说明
CALLED ON NULL INPUT ] [ SYMBOL class_name ] [ URI hdfs_path_to_jar ] 描述 通过给定的定义创建一个新的函数。 每一个函数都由其限定函数名称和参数类型列表唯一标识。“qualified_function_name”的格式需要为“catalog
处理步骤 检查Manager中的OKerberos依赖的OLdap资源是否异常。 以omm用户登录到集群中Manager所在节点主机。 通过登录FusionInsight Manager浮动IP节点,执行sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms
anger、Presto、Oozie、Storm、Loader等组件有使用Apache Log4j2。在默认情况下集群不会对外网开放,如您通过绑定EIP等方式开放了公网访问权限,请确认输入源是否可信,同时建议您根据漏洞规避方案进行加固。 漏洞规避方案 请根据MRS集群版本,从如下链接中选择相应的漏洞规避方案。
true”和“hoodie.sql.insert.mode = non-strict”来开启bulk insert作为Insert语句的写入方式。 也可以通过直接设置hoodie.datasource.write.operation的方式控制insert语句的写入方式,包括bulk_insert
将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。 通过“表输出”算子,将A、B和C输出到test_1表中: select * from test_1; 父主题: 输入算子
admin.TopicCommand.main(TopicCommand.scala) (kafka.admin.TopicCommand$) 通过Manager参看Kafka服务是否处于正常状态,当前可用Broker是否小于设置的replication-factor。 检查客户端命令
> 实例”获取;NameNode RPC端口可进入到HDFS服务配置页面搜索“dfs.namenode.rpc.port”参数获取,不支持通过Manager修改。 修改后参数值例如:“10.1.1.1:9820”和“10.1.1.2:9820”。 保存配置并在概览页面选择“更多 >
Manager中LdapServer进程故障。 处理步骤 检查Manager中LdapServer进程是否正常。 以omm用户登录集群中的Manager所在节点主机。 可以通过登录FusionInsight Manager浮动IP节点,执行sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms
执行show functions操作后的结果 回答 问题根因: 上述两个问题是由于多主实例模式或者多租户模式下,使用spark-beeline通过add jar的方式创建function,此function在各个JDBCServer实例之间是不可见的。执行drop function时
建表属性中指定hoodie.merge-engine=aggregate开启hudi表的聚合引擎功能。开启聚合引擎后,每个非主键字段都可以被赋予一个聚合函数,通过字段的fields.<field-name>.aggregate-function表属性来指定。例如,考虑以下表定义。 create table
执行show functions操作后的结果 回答 问题根因: 上述两个问题是由于多主实例模式或者多租户模式下,使用spark-beeline通过add jar的方式创建function,此function在各个JDBCServer实例之间是不可见的。执行drop function时
Router堆内存使用率和阈值相比较。HDFS Router堆内存使用率指标默认提供一个阈值范围。当HDFS Router堆内存使用率超出阈值范围时,产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > HDFS”修改阈值。 当HDFS Router堆内存使用率小于或等于阈值时,告警恢复。
配置参数 参数 描述 默认值 dfs.client.failover.proxy.provider.[nameservice ID] 用已通过的协议创建namenode代理的Client Failover proxy provider类。配置成org.apache.hadoop.hdfs
配置参数 参数 描述 默认值 dfs.client.failover.proxy.provider.[nameservice ID] 用已通过的协议创建namenode代理的Client Failover proxy provider类。配置成org.apache.hadoop.hdfs
大的数值。为确保日志文件的完整性,建议根据实际业务量大小,在日志文件基于规则清理前,手动将日志文件备份存储至其他文件夹中。 个别服务不支持通过界面修改日志级别。 单击“保存”,在“保存配置”单击“确定”。 验证日志级别设置已生效,请下载日志并查看。 父主题: 查看MRS集群日志
3版本中,SparkSQL支持矢量化读取ORC数据(这个特性在Hive的历史版本中已经得到支持)。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。 该特性可以通过下面的配置项开启: “spark.sql.orc.enableVectorizedReader”:指定是否支持矢量化方式读取ORC格式的数据,默认为true。
3版本中,SparkSQL支持矢量化读取ORC数据(这个特性在Hive的历史版本中已经得到支持)。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。 该特性可以通过下面的配置项开启: “spark.sql.orc.enableVectorizedReader”:指定是否支持矢量化方式读取ORC格式的数据,默认为true。