检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
UBDIR目录。 切回Mapreduce引擎后默认不读取目录下的文件,所以没有读取到HIVE_UNION_SUBDIR目录下的数据。 此时可以设置参数set mapreduce.input.fileinputformat.input.dir.recursive=true,开启union优化,决定是否读取目录下的数据。
tablePath => '[tablePath]') 参数描述 表1 参数描述 参数 描述 是否必填 table 需要同步到hive的表名 是,表可以不存在,不存在会创建该表 tablePath 存储层中的Hudi数据目录的路径 是 示例 call sync_hive(table => 'hudi_table'
write.keygenerator.class 默认可以配置为org.apache.hudi.keygen.SimpleKeyGenerator 和org.apache.hudi.keygen.ComplexKeyGenerator,也可以不配置。 hoodie.datasource.hive_sync
Rebalance每次重试间隔 2000 zookeeper.session.timeout.ms Zookeeper连接会话超时时间 15000 可以适当调大上述三个参数,可以参考如下数值: zookeeper.session.timeout.ms = 45000 rebalance.max.retries
补齐,“类型”为“VARCHAR”时实际长度不足则不补齐。 主键:配置是否为主键列。普通HBase表主键只能指定一个;phoenix表主键可以指定多个,配置多个列为主键时,会按照配置列的先后顺序对其进行拼接。必须配置一个主键列。 map 是 无 数据处理规则 当配置HBase表名不存在时,作业提交失败。
或者提示处理。对于运行熔断规则,系统在SQL请求满足条件时,会阻断该SQL任务。 SQL防御规则与约束 SQL防御规则可以同时关联多个SQL引擎,且每个服务可以配置不同的触发阈值参数。 SQL防御规则按照租户进行配置,同一条规则支持关联多个租户,防御规则只对规则所关联租户对应的SQL请求生效。
如需让当前条件中的用户或用户组管理本条策略,可勾选“Delegate Admin”使这些用户成为受委托的管理员。被委托的管理员可以更新、删除本策略,它还可以基于原始策略创建子策略。 如需添加多条权限控制规则,可单击按钮添加。如需删除权限控制规则,可单击按钮删除。 Exclude from
执行命令bash ${CONTROLLER_HOME}/security/cert/conf/querycertvalidity.sh可以查看CA根证书的生效时间与失效时间。 是,执行5。 否,执行7。 查看当前HA根证书剩余有效期是否小于证书的告警阈值。 执行命令openssl
动分裂成多个Region。 预分Region建表,即创建表时预先分配多个Region,此种方法建表可以提高写入大量数据初期的数据写入速度。 表的列名以及列族名不能包含特殊字符,可以由字母、数字以及下划线组成。 代码样例 以下代码片段在com.huawei.bigdata.hbase
使用admin用户登录到FusionInsight Manager用户管理界面,检查当前报错用户的权限。 用户至少具有Manager的以下权限之一才可以访问。 使用root或omm用户登录到主OMS节点。 检查“/srv/BigData/dbdata_om”目录所在的分区是否已满。 清理冗余的数据。
DataNode增量上报太慢,NameNode无法及时分配新的Block。 出现该报错作业不会立即异常,在超过重试次数时才会通知作业异常。可以适当增大HDFS参数“dfs.client.block.write.retries”配置,例如:“dfs.client.block.write
not quit。 解决办法 登录节点,后台通过执行ps -ef | grep HRegionServer发现确实存在一个残留的进程。 确认进程可以终止后,使用kill命令终止该进程(如果kill无法终止该进程,需要使用kill -9来强制终止该进程)。 重新启动HBase服务成功。 父主题:
业。 如果集群未启用Kerberos认证,则显示集群中全部的作业。 在“Sqoop作业”中输入指定作业的名称或连接类型,可以筛选该作业。 单击“刷新列表”,可以获取作业的最新状态。 编辑作业 访问Loader页面,默认显示Loader作业管理页面。 单击指定作业的名称,进入编辑页面。
op.abc.com@ABC.COM。 确保可以正常的认证连接HiveServer。 在客户端执行以下命令 source 客户端安装目录/bigdata_env kinit username 然后再使用客户端执行beeline,确保可以正常运行。 父主题: 使用Hive
如需让当前条件中的用户或用户组管理本条策略,可勾选“Delegate Admin”使这些用户成为受委托的管理员。被委托的管理员可以更新、删除本策略,它还可以基于原始策略创建子策略。 如需添加多条权限控制规则,可单击按钮添加。如需删除权限控制规则,可单击按钮删除。 Exclude from
FE实例IP地址 Doris FE的查询连接端口,可以通过登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。 Doris FE实例IP地址,可以通过登录FusionInsight Manager,选择“集群
Manager中LdapServer进程故障。 处理步骤 检查Manager中LdapServer进程是否正常。 以omm用户登录集群中的Manager所在节点主机。 可以通过登录FusionInsight Manager浮动IP节点,执行sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms
在FusionInsight Manager界面,选择“集群 > 服务 > Doris > 查询管理”,即可查看正在进行的慢查询和已经结束的查询,还可以根据图表查看前Top 10的执行慢查询的用户名、提交慢SQL语句的客户端IP及慢查询语句,其中: Doris集群中Top 10使用的用户:
情况,Standby NameNode启动失败,MD5文件会损坏。通过移除损坏的fsimage,然后启动Standby NameNode,可以修复此问题。Standby NameNode会加载先前的fsimage并重现所有的edits。 修复步骤: 移除损坏的fsimage。 rm
表1 参数含义 参数 含义 name 流程文件名 start 流程开始节点 end 流程结束节点 action 实现具体业务动作的节点(可以是多个) 样例代码 <workflow-app xmlns="uri:oozie:workflow:1.0" name="data_load">