检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0及以后版本。 使用场景 将Lookup Join的结果写入到多个sink端时,无需为每个sink复制一个Lookup join算子,提高作业的执行效率。 使用方法 配置Flink作业时,可通过在FlinkServer WebUI的Flink作业开发界面添加自定义参数“table.optimizer
OutOfMemoryError”的错误。 这个问题是由于Yarn客户端运行时的所需的内存超过了Yarn客户端设置的内存上限(默认为128MB)。可以通过修改“<客户端安装路径>/HDFS/component_env”中的“CLIENT_GC_OPTS”来修改Yarn客户端的内存上限。例如,需要设置该内存上限为1GB,则设置:
有状态的。具体哪个算子是有状态的,哪个算子是无状态的,不是十分明显。如果用户十分确定某个算子是无状态的,该算子可以不调用uid()方法分配ID。 如果用户在升级作业时新添加一个有状态的算子有什么影响? 当用户在作业中新添加一个有状态的算子时,由于该算子是新添加的,无保存的旧状态,因此无状态恢复,从0开始运行。
col1 回答 出现这种情况是因为HiveSyncTool目前只支持很少的兼容数据类型转换。进行任何其他不兼容的更改都会引发此异常。 请检查相关字段的数据类型演进,并验证它是否确实可以被视为根据Hudi代码库的有效数据类型转换。 父主题: Hudi常见问题
not exist: test_db 回答 这种情况通常在试图对Hudi数据集执行Hive同步,但配置的hive_sync数据库不存在时发生。 请在您的Hive集群上创建对应的数据库后重试。 父主题: Hive同步
ROLLBACK 语法 ROLLBACK [ WORK ] 描述 用于回滚当前的事务。 示例 ROLLBACK; ROLLBACK WORK; 父主题: HetuEngine TCL SQL语法说明
OutOfMemoryError”的错误。 该问题是由于HDFS客户端运行时所需的内存超过了HDFS客户端设置的内存上限(默认为128MB)。可以通过修改“<客户端安装路径>/HDFS/component_env”中的“CLIENT_GC_OPTS”来修改HDFS客户端的内存上限。例如,需要设置该内存上限为1GB,则设置:
DATE_ADD函数用于返回指定日期增加目标天数后的日期。 参数说明 指定日期:数据类型为TIMESTAMP或者STRING(格式为:yyyy-MM-dd HH:mm:ss),支持参数为NULL的特殊情况。 目标天数:数据类型为INT。 返回日期:指定日期增加目标天数后的日期,数据类型为STRING。
登录Manager界面,跳转Tez WebUI界面,已经提交的Tez任务未展示,如何解决。 回答 Tez WebUI展示的Tez任务数据,需要Yarn的TimelineServer支持,确认提交任务之前TimelineServer已经开启且正常运行。 在设置Hive执行引擎为Tez的同时,需要设置参数“yarn
AM通过此接口向NM提供需要启动的containers列表的请求。 stopContainers(StopContainersRequest request) AM通过此接口请求NM停止一系列已分配的Containers。 样例代码 YARN作业提交的样例代码详细可以参考MapRe
3.x版本集群,用户通过专线访问MRS Manager后,如何切换到通过EIP访问? 答: 在集群“概览”页面,单击“前往Manager”后的,即可切换访问方式。 父主题: Web页面访问类
使用Token认证机制时对Token的操作。 本章节内容适用于MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求,并准备一个系统用户。 已开启Token认证机制。 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换
为什么DataNode无法正常上报数据块 问题 DataNode正常,但无法正常上报数据块,导致存在的数据块无法使用。 回答 当某个数据目录中的数据块数量超过4倍的数据块限定值“1M”时,可能会出现该错误。DataNode会产生相应的错误日志记录,如下所示: 2015-11-05 10:26:32,936 |
CarbonData首查优化工具 工具介绍 CarbonData的首次查询较慢,对于实时性要求较高的节点可能会造成一定的时延。 本工具主要提供以下功能: 对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端,例如安装目录为“/opt/client”。进入目录“/op
SHOW SESSION 语法 SHOW SESSION; 描述 用于列出所有session的配置参数。 示例 show session; 父主题: HetuEngine DDL SQL语法说明
对特定服务进行维护操作时(例如对该服务的实例进行批量重启等可能影响业务的调试操作、对该服务相关的节点进行直接上下电或修复服务等),可仅将涉及的服务配置为维护模式。 主机维护模式 对主机进行维护操作时(例如节点上下电、隔离主机、重装主机、升级操作系统、替换节点等),可仅将涉及的主机配置为维护模式。
failover proxy provider中,一旦某进程中的一个NameNode发生故障,在同一进程中的所有HDFS client实例都会尝试再次连接NameNode,导致应用长时间等待超时。 当位于同一JVM进程中的客户端对无法访问的NameNode进行连接时,会对系统造成负担。为了避
WebUI】登录Hue WebUI报错无权限 现象描述 开启Kerberos认证的集群,使用admin用户登录Hue WebUI,报错“无权限或无法连接到hive server,请检查当前用户的hive权限以及hue的hive配置是否正确。”或“No available hive server
日志聚合下,如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中,日志中一直打印getApp
因为schema演进以非向后兼容的方式进行,此错误将再次发生。基本上,如果已经写入Hudi数据集parquet文件的记录R有一些更新U。R包含字段F,该字段包含某类数据类型,也就是LONG。U具有相同的字段F,该字段的数据类型是INT。Parquet FS不支持这种不兼容的数据类型转换。 对于