检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
往HDFS写数据时报错“java.net.SocketException” 问题 为什么在往HDFS写数据时报“java.net.SocketException: No buffer space available”异常? 这个问题发生在往HDFS写文件时。查看客户端和DataNode的错误日志。
使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在概览页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。
针对原因二:先停掉后台使用该Topic的应用程序,或者“auto.create.topics.enable”配置为“false”(需要重启Kafka服务),然后再做删除操作。 父主题: Kafka常见问题
使用Hue提交Oozie Sub workflow作业 操作场景 该任务指导用户通过Hue界面提交Sub Workflow类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“子Workflow”按钮,将其拖到操作区中。 在弹出的“Sub
ROLL_BACK 命令功能 用于回滚指定的commit。 命令格式 call rollback_to_instant(table => '[table_name]', instant_time => '[instant]'); 参数描述 表1 参数描述 参数 描述 table_name
SHOW_COMMIT_FILES 本章节仅适用于MRS 3.3.0及之后版本。 命令功能 查看指定的instant一共更新或者插入了多少个文件。 命令格式 call show_commit_files(table=>'[table]', instant_time=>'[instant_time]'
查看FlinkServer作业健康状况 本章节适用于MRS 3.3.0及之后的版本。 作业健康状态说明 当集群运行大量Flink作业时,为方便用户对每个作业进行健康状态评估,FlinkServer WebUI提供Flink作业健康度管理功能,用户可直接在页面查看当前作业的健康情况
请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 hadoop.rpc.protection 须知: 设置后需要重启服务生效,且不支持滚动重启。 设置后需要重新下载客户端配置,否则HDFS无法提供读写服务。 设置H
只有安全模式支持禁用Transform功能,普通模式不支持该功能。 操作步骤 登录FusionInsight Manager,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 在搜索框中搜索“hive.security.transform.disallow”,修改参数值
一个普通UDF必须至少实现一个evaluate()方法,evaluate函数支持重载。 开发自定义函数需要在工程中添加“hive-exec-*.jar”依赖包,可从Hive服务的安装目录下获取,例如在“${BIGDATA_HOME}/components/FusionInsight_HD_*/Hive/disas
SHOW FUNCTIONS 语法 SHOW FUNCTIONS [LIKE pattern [ESCAPE escapeChar]]; SHOW EXTERNAL FUNCTIONS; SHOW EXTERNAL FUNCTION qualified_function_name;
START TRANSACTION 语法 START TRANSACTION [ mode [, ...] ] 其中mode用于设置事务的隔离级别,可选的参数有: ISOLATION LEVEL { READ UNCOMMITTED | READ COMMITTED | REPEATABLE
HetuEngine SQL函数和操作符说明 逻辑运算符 比较函数和运算符 条件表达式 Lambda表达式 转换函数 数学函数和运算符 Bitwise函数 十进制函数和操作符 字符串函数和运算符 正则表达式函数 二进制函数和运算符 Json函数和运算符 日期、时间函数及运算符 聚合函数
REFRESH SCHEMA 语法 REFRESH SCHEMA schema_name 描述 用于刷新SCHEMA元数据缓存。 示例 refresh schema default; REFRESH 父主题: HetuEngine辅助命令语法
kServer和客户端三种方式对接AOM服务,将Flink监控指标上传至AOM服务。 Flink对接AOM服务前提条件 已开通应用运维管理AOM服务。 MRS集群中已安装HDFS、Yarn、Kafka和Flink服务。 包含Flink服务的客户端已安装,例如安装路径为:/opt/client
数据从本地下沉到对象存储中,如图1所示。 图1 冷热数据分层功能原理 OBS对象存储支持海量数据存储,并提供安全可靠的、低成本的分布式存储服务。Doris主要基于OBS实现冷热分离功能,如图2所示。 图2 Doris冷热分离原理 父主题: Doris冷热分离
使用hive-table方式同步数据报错 问题 使用hive-table方式同步数据报错。 回答 修改hive-site.xml,加入如下值。 父主题: Sqoop常见问题
DROP SCHEMA 语法 DROP (DATABASE|SCHEMA) [IF EXISTS] databasename [RESTRICT|CASCADE] 描述 DATABASE和SCHEMA在概念上是等价可互换的。 该语法用于删除数据库databasename,如果目标
DROP TABLE 语法 DROP TABLE [ IF EXISTS ] table_name 描述 删除存在的表。 可选参数IF EXISTS指定时,如果删除的表不存在,则不会报错。 被删除的数据行将被移动到HDFS的回收站。 示例 create table testfordrop(name
Tez WebUI界面无法查看Yarn日志 问题 登录Tez WebUI界面,单击Logs跳转yarn日志界面失败,无法加载数据。 回答 Tez WebUI跳转Yarn Logs界面时,目前是通过hostname进行访问,需要在Windows机器中配置hostname到IP地址的映射。