检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。 通过“表输出”算子,将A、B和C输出到“test_1”表中: select * from test_1; 父主题: 输入算子
log”,搜索运行的SQL对应的线程日志,再搜索number of splits日志,如果该日志前后间隔时间较长,则表示访问HDFS变慢。 方法二: 通过打印HiveServer进程jstack,查看相关线程是否卡顿在访问HDFS部分,是的话则表示访问HDFS变慢。 方法三: 查看HDFS
变更数据的冷热分界点,数据可以从热存储到冷存储,也可以从冷存储到热存储。 图1 HBase冷热分离原理图 配置HBase冷热数据分离存储 通过在Manager界面修改HBase配置开启冷热分离特性,支持将冷数据存储在OBS,热数据存储在HDFS中。 参考配置Guardian服务对接OBS章节对接OBS。
列的默认值不会影响历史数据的查询结果。 设置默认值后rollback不能回滚默认值配置。 Spark SQL暂不支持查看列默认值信息,可以通过Hive beeline执行show create table命令查看。 支持范围 当前仅支持int、bigint、float、doubl
e收到客户端的close请求之后就会检查最后一个块的完成状态,只有当有足够的DataNode上报了块完成才可用关闭文件,检查块完成的状态是通过checkFileProgress函数检查的,打印如下: 2015-05-27 19:00:27,603 | INFO | IPC Server
top.nodes.number指定Top N节点返回的DataNode列表是不断重新计算的,因此不必设置的过大。 如果要在HDFS客户端通过命令行使用DiskBalancer功能,其接口如下: 表3 DiskBalancer功能的接口说明 命令格式 说明 hdfs diskbalancer
将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。 通过“表输出”算子,将A、B和C输出到test_1表中: select * from test_1; 父主题: Loader输入类算子
anger、Presto、Oozie、Storm、Loader等组件有使用Apache Log4j2。在默认情况下集群不会对外网开放,如您通过绑定EIP等方式开放了公网访问权限,请确认输入源是否可信,同时建议您根据漏洞规避方案进行加固。 漏洞规避方案 请根据MRS集群版本,从如下链接中选择相应的漏洞规避方案。
将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。 通过“表输出”算子,将A、B和C输出到test_1表中: select * from test_1; 父主题: 输入算子
true”和“hoodie.sql.insert.mode = non-strict”来开启bulk insert作为Insert语句的写入方式。 也可以通过直接设置hoodie.datasource.write.operation的方式控制insert语句的写入方式,包括bulk_insert
varbinary 使用给定的key计算二进制块的HMAC值(采用sha512)。 CRC32、MD5、SHA1算法在密码学场景已被攻击者破解,不建议应用于密码学安全场景。 父主题: HetuEngine SQL函数和操作符说明
credentials (49); Account locked 前提条件 已确认主管理节点IP地址。 修改LDAP管理账户密码 以omm用户通过管理节点IP登录主管理节点。 执行以下命令,切换到目录。 cd ${BIGDATA_HOME}/om-server/om/meta-0.0
CALLED ON NULL INPUT ] [ SYMBOL class_name ] [ URI hdfs_path_to_jar ] 描述 通过给定的定义创建一个新的函数。 每一个函数都由其限定函数名称和参数类型列表唯一标识。“qualified_function_name”的格式需要为“catalog
处理步骤 检查Manager中的OKerberos依赖的OLdap资源是否异常。 以omm用户登录到集群中Manager所在节点主机。 通过登录FusionInsight Manager浮动IP节点,执行sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms
Router堆内存使用率和阈值相比较。HDFS Router堆内存使用率指标默认提供一个阈值范围。当HDFS Router堆内存使用率超出阈值范围时,产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > HDFS”修改阈值。 当HDFS Router堆内存使用率小于或等于阈值时,告警恢复。
//源表数据结构转换为目标表的数据结构。该源表如果需要和Hive进行关联操作,可以直接在SQL中通过表名来进行关联操作;该源表如果需要和Hudi表关联操作,需要先指定Hudi表的路径,然后在SQL中通过表名来进行关联操作。 父主题: Hudi写操作
> 实例”获取;NameNode RPC端口可进入到HDFS服务配置页面搜索“dfs.namenode.rpc.port”参数获取,不支持通过Manager修改。 修改后参数值例如:“10.1.1.1:9820”和“10.1.1.2:9820”。 保存配置并在概览页面选择“更多 >
admin.TopicCommand.main(TopicCommand.scala) (kafka.admin.TopicCommand$) 通过Manager参看Kafka服务是否处于正常状态,当前可用Broker是否小于设置的replication-factor。 检查客户端命令
Manager中LdapServer进程故障。 处理步骤 检查Manager中LdapServer进程是否正常。 以omm用户登录集群中的Manager所在节点主机。 可以通过登录FusionInsight Manager浮动IP节点,执行sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms
建表属性中指定hoodie.merge-engine=aggregate开启hudi表的聚合引擎功能。开启聚合引擎后,每个非主键字段都可以被赋予一个聚合函数,通过字段的fields.<field-name>.aggregate-function表属性来指定。例如,考虑以下表定义。 create table