检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
目标HBase表,若目标表不存在时,会进行采样并创建目标表。 -op,--output-path HFile文件输出路径,最终导出的HFile会在该目录下的一个临时目录中,导入成功后会被清除。 如果开启了HDFS联邦,HFile文件输出路径必须和需要导入数据的HBase在同一个NameService中。
连接一个节点的超时时间,超过此时间未连接成功,则尝试连接下一个节点。 作用二:连接建立后,一个会话的超时时间,如ZooKeeper上注册的临时节点BrokerId,当Broker被停止,则该BrokerId,会经过一个sessionTimeout才会被ZooKeeper清理。 表3
flink”。 在Flink任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例,否则可能会导致任务失败,并可能导致应用部分临时数据无法清空。 请确保Jar包和配置文件的用户权限与Flink客户端一致,例如都是omm用户,且权限为755。 运行DataStream(Scala和Java)样例程序。
参考参考信息。 在Flink任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例,否则可能会导致任务失败,并可能导致应用部分临时数据无法清空。 示例中的“ssl/”是Flink客户端目录下自定义的子目录,用来存放SSL keystore、truststore相关配置文件。
xport作业会失败,需要用户重新提交。 如果Export作业运行失败,在远端存储中产生的“__doris_export_tmp_xxx”临时目录,及已经生成的文件不会被删除,需手动删除。 如果Export作业运行成功,在远端存储中产生的“__doris_export_tmp_x
请确保当前用户对合并的表具有owner权限。 合并前请确保HDFS上有足够的存储空间,至少需要被合并表大小的一倍以上。 合并表数据的操作需要单独进行,在此过程中读表,可能临时出现找不到文件的问题,合并完成后会恢复正常;另外在合并过程中请注意不要对相应的表进行写操作,否则可能会产生数据一致性问题。 如果合并完成后
网络读吞吐率超过阈值 ALM-12050 网络写吞吐率超过阈值 ALM-12051 磁盘Inode使用率超过阈值 ALM-12052 TCP临时端口使用率超过阈值 ALM-12053 主机文件句柄使用率超过阈值 ALM-12054 证书文件失效 ALM-12055 证书文件即将过期
请确保当前用户对合并的表具有owner权限。 合并前请确保HDFS上有足够的存储空间,至少需要被合并表大小的一倍以上。 合并表数据的操作需要单独进行,在此过程中读表,可能临时出现找不到文件的问题,合并完成后会恢复正常;另外在合并过程中请注意不要对相应的表进行写操作,否则可能会产生数据一致性问题。 若合并完成后,
组件业务用户(如果集群未启用Kerberos认证(普通模式)请跳过该操作) spark-sql --master yarn 执行以下命令创建临时视图: CREATE TEMPORARY VIEW spark_doris_decimal USING doris OPTIONS( "table
、Oozie、CDL和IoTDB服务 表2 重启策略以及影响 组件 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及。 耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启10个节点耗时约20分钟。 DBService
束,请参见:LakeFormation使用流程简介。 Guardian新增开启accesslabel开关 Guardian支持自定义文件生成器 支持添加RangerKMS实例,提供数据加密服务 管控面提交FlinkSQL作业支持元数据管理 解决的问题 MRS 3.2.0-LTS.1
HetuEngine,CDL和IoTDB服务 表2 重启策略以及影响 组件 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及。 耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启10个节点耗时约20分钟。 DBService
取值范围:29970~29979 client_body_buffer_size 设置读取客户端请求正文的缓冲区大小。如果请求主体大于缓冲区,则将整个主体或仅将其部分写入临时文件。 默认值:10240 取值范围:大于0 client_body_timeout 定义读取客户端请求正文的超时时间。超时仅针对两次连续
若Hive中已存在目标文件,则先删除该文件再导入。 -append 将数据追加到hdfs中已经存在的dataset中。使用该参数,sqoop将把数据先导入到一个临时目录中,然后重新给文件命名到一个正式的目录中,以避免和该目录中已存在的文件重名。 -as-avrodatafile 将数据导入到一个Avro数据文件中。
操作(包含union all)数据正常,外面套一个insert后导致数据丢失问题 Hudi 解决Hudi对接Hive会造成/tmp目录下的临时文件残留的问题 Hue 解决Hue在查询返回数据量大的情况下会导致HUE页面卡死不可用的问题 解决Hue单击“文档”报错maximum recursion
/opt/newclient source bigdata_env kinit 组件业务用户 spark-beeline 执行以下命令创建临时视图。 CREATE TEMPORARY VIEW spark_doris_decimal USING doris OPTIONS( "table
例如,您只允许用户组A访问某一OBS桶中的日志文件,您可以执行以下操作来实现: 为MRS集群配置OBS访问权限的委托,实现使用ECS自动获取的临时AK/SK访问OBS。避免了AK/SK直接暴露在配置文件中的风险。 在IAM中创建一个只允许访问某一OBS桶中的日志文件的策略,并创建一个绑定该策略权限的委托。
HetuEngine,CDL和IoTDB服务 表2 重启策略以及影响 组件名称 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及。 耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启10个节点耗时约20分钟。 DBService
y及HetuEngine计算实例 表2 重启策略以及影响 组件名称 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及。 耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启10个节点耗时约20分钟。 DBService
若Hive中已存在目标文件,则先删除该文件再导入。 -append 将数据追加到hdfs中已经存在的dataset中。使用该参数,sqoop将把数据先导入到一个临时目录中,然后重新给文件命名到一个正式的目录中,以避免和该目录中已存在的文件重名。 -as-avrodatafile 将数据导入到一个Avro数据文件中。