检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Storm-JDBC开发指引 Storm-HDFS开发指引 Storm-HBase开发指引 Storm Flux开发指引 Storm对外接口介绍 如何使用IDEA远程调试业务 IntelliJ IDEA中远程提交拓扑执行Main时报错：Command line is too long 父主题：
[TBLPROPERTIES ('key'='value', ...)]; 其中： PARTITIONED：用于指定分区字段。 LOCATION：用于指定表存储位置。 COMMENT：用于指定表描述。 TBLPROPERTIES：用于指定表属性。 Iceberg不支持创建CTAS或RTAS表。 使用示例
带回调函数的发送接口，通常用于异步发送后，通过回调函数实现对发送结果的处理。 void onCompletion(RecordMetadata metadata, Exception exception); 回调函数接口方法，通过实现Callback中的此方法来进行异步发送结果的处理。 Consumer重要接口 表3
多路读会增加网络流量和CPU使用率，由于需要处理更多的连接和请求，需要根据现网硬件及作业情况实际调整。例如：默认三副本的情况下启用多路读，组件内存至少需要设置为已有的三倍。 磁盘IO负载高的情况下（业务高峰期磁盘整体IO使用率大于50%以上），开启多路读可能导致磁盘处理能力不足而性能劣化。 操作步骤
信息，如果未勾选，校验时会弹出提示框提示需要勾选的依赖数据。作业的应用信息不会导出。 流表导出时，不解析处理流表的依赖，即流表依赖的应用信息不会导出。 UDF导出时，不解析处理UDF的依赖和被动依赖，即UDF依赖的应用信息和在哪些作业被使用的信息不会导出。 支持不同应用之间的导入导出。
如果观察到个别节点占用资源较高，需要针对占用资源较高的节点分析，分析当前的SQL语句是什么原因导致部分节点占用比其他节点更多资源，是计算还是数据存储倾斜导致，或者是软件bug导致。 每个节点资源占用都比较高 如果集群所有节点资源占用都比较高，说明集群整体比较忙，需要单独确认需要调优的S
查看HiveServer日志“/var/log/Bigdata/hive/hiveserver/hive.log”，发现目录名不符合分区格式。 处理步骤 方法一：删除错误的文件或目录。 方法二：执行set hive.msck.path.validation=skip;，跳过无效的目录。
使用Yarn客户端命令查询历史作业报错 问题现象 执行Yarn客户端命令查询历史作业报错，进程被终止。具体错误如下: 原因分析 客户端分配内存不足，导致提交命令报错。 处理步骤 以root用户登录HDFS客户端安装节点。 执行以下命令编辑文件。 vim /opt/client/HDFS/component_env
在MySQL客户端连接Doris报错： java.net.SocketTimeoutException: Read timed out 原因分析 Doris服务端响应较慢。 处理步骤 使用MySQL客户端连接Doris数据库时，在命令中新增“connect_timeout”参数，默认值为10秒，命令如下： mysql
Hive企业级能力增强 配置Hive表不同分区分别存储至OBS和HDFS 配置Hive目录旧数据自动移除至回收站 配置Hive插入数据到不存在的目录中 配置创建Hive内部表时不能指定Location 配置用户在具有读和执行权限的目录中创建外表 配置基于HTTPS/HTTP协议的REST接口
范围谓词（<、<=、>=、>），一个BETWEEN谓词或者一个单一的相等谓词来定义。这个相等谓词主要是比较两个输入表的同类型时间属性（比如处理时间或者事件时间）。 以下是一个关于在收到订单后四小时内发货， 将所有订单及其相应的货件进行Join的示例： SELECT * FROM Orders
带回调函数的发送接口，通常用于异步发送后，通过回调函数实现对发送结果的处理。 void onCompletion(RecordMetadata metadata, Exception exception); 回调函数接口方法，通过实现Callback中的此方法来进行异步发送结果的处理。 Consumer重要接口 表3
9.2版本集群。 问题现象 Sqoop任务运行成功，但HDFS中的CSV文件无内容。 原因分析 由于jar包冲突或者缺少相关jar包导致。 处理步骤 进入Sqoop的安装目录下查找文件。 进入Sqoop节点的“/opt/Bigdata/MRS_1.9.2/install/FusionInsight-Sqoop-1
升HMaster处理高优先级请求的能力，减少HMaster过载。 表4 大批量Region上下线过载相关参数调优 实例名称 参数名称 参数描述 调整策略 HMaster hbase.regionserver.metahandler.count HMaster处理高优先级请求的Handler数量。
多个磁盘之间使用逗号隔开。 参数 描述 默认值 yarn.nodemanager.log-dirs 日志存放地址（可配置多个目录）。 容器日志的存储位置。默认值为%{@auto.detect.datapart.nm.logs}。如果有数据分区，基于该数据分区生成一个类似/srv/Big
Ranger常见问题 安装集群过程中Ranger启动失败 如何判断某个服务是否使用了Ranger鉴权 新创建用户修改完密码后无法登录Ranger Ranger界面添加或者修改HBase策略时，无法使用通配符搜索已存在的HBase表 在Ranger管理界面查看不到创建的MRS用户
close(); Scan时的容错处理 Scan时不排除会遇到异常，例如，租约过期。在遇到异常时，建议Scan应该有重试的操作。 事实上，重试在各类异常的容错处理中，都是一种优秀的实践，这一点，可以应用在各类与HBase操作相关的接口方法的容错处理过程中。 不用Admin时，要及时关闭，Admin实例不应常驻内存
a/dbservice/DB/gs_ctl-current.log，报如下错误。 检查发现/tmp权限不正确，正确的权限应该为777。 解决办法 修改/tmp权限为777。 重新启动DBService组件。 父主题： 使用DBservice
为什么ZooKeeper Server出现java.io.IOException: Len的错误日志 为什么ZooKeeper节点上netcat命令无法正常运行 如何查看哪个ZooKeeper实例是Leader 使用IBM JDK时客户端无法连接ZooKeeper ZooKeeper客户端刷新TGT失败
提示“-bash: hdfs: command not found”。 原因分析 用户登录Master节点执行命令之前，未设置环境变量。 处理步骤 以root用户登录任意一个Master节点。 执行source 客户端安装目录/bigdata_env命令，设置环境变量。 执行hdfs命令即可成功使用HDFS客户端。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
