检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AM通过此接口向NM提供需要启动的containers列表的请求。 stopContainers(StopContainersRequest request) AM通过此接口请求NM停止一系列已分配的Containers。 样例代码 YARN作业提交的样例代码详细可以参考MapRe
OutOfMemoryError”的错误。 这个问题是由于Yarn客户端运行时所需的内存超过了Yarn客户端设置的内存上限（默认为128MB）。 可以通过修改“<客户端安装路径>/HDFS/component_env”中的参数来修改Yarn客户端的内存上限。 对于MRS 3.x及之
登录Manager界面，跳转Tez WebUI界面，已经提交的Tez任务未展示，如何解决。 回答 Tez WebUI展示的Tez任务数据，需要Yarn的TimelineServer支持，确认提交任务之前TimelineServer已经开启且正常运行。 在设置Hive执行引擎为Tez的同时，需要设置参数“yarn
b7b3faab86527b88a92f2a248a54d3dc’的子Region，子Region引用了父Region的文件，父Region的文件在迁移过程中因为未知原因丢失了，导致子Region找不到引用文件。 这种异常并不能通过简单的重试可解决，所以Region会长时间处于RIT状态。 处理步骤
对特定服务进行维护操作时（例如对该服务的实例进行批量重启等可能影响业务的调试操作、对该服务相关的节点进行直接上下电或修复服务等），可仅将涉及的服务配置为维护模式。 主机维护模式 对主机进行维护操作时（例如节点上下电、隔离主机、重装主机、升级操作系统、替换节点等），可仅将涉及的主机配置为维护模式。
OutOfMemoryError”的错误。 该问题是由于HDFS客户端运行时所需的内存超过了HDFS客户端设置的内存上限（默认为128MB）。可以通过修改“<客户端安装路径>/HDFS/component_env”中的“CLIENT_GC_OPTS”来修改HDFS客户端的内存上限。例如，需要设置该内存上限为1GB，则设置：
CarbonData首查优化工具 工具介绍 CarbonData的首次查询较慢，对于实时性要求较高的节点可能会造成一定的时延。 本工具主要提供以下功能： 对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端，例如安装目录为“/opt/client”。进入目录“/op
SHOW SESSION 语法 SHOW SESSION; 描述 用于列出所有session的配置参数。 示例 show session; 父主题： HetuEngine DDL SQL语法说明
有状态的。具体哪个算子是有状态的，哪个算子是无状态的，不是十分明显。如果用户十分确定某个算子是无状态的，该算子可以不调用uid()方法分配ID。 如果用户在升级作业时新添加一个有状态的算子有什么影响？ 当用户在作业中新添加一个有状态的算子时，由于该算子是新添加的，无保存的旧状态，因此无状态恢复，从0开始运行。
col1 回答 出现这种情况是因为HiveSyncTool目前只支持很少的兼容数据类型转换。进行任何其他不兼容的更改都会引发此异常。 请检查相关字段的数据类型演进，并验证它是否确实可以被视为根据Hudi代码库的有效数据类型转换。 父主题： Hudi常见问题
S -Dfastjson.parser.safeMode=true" 使用omm用户在主OMS节点执行如下命令重启Manager Web 服务。 $OMS_RUN_PATH/workspace/ha/module/harm/plugin/script/tomcat stop $O
tableIdentifier 在其中执行MergeInto操作的Hudi表的名称。 target_alias 目标表的别名。 sub_query 子查询。 source_alias 源表或源表达式的别名。 merge_condition 将源表或表达式和目标表关联起来的条件 condition 过滤条件，可选。
再去检测每个分区的平均文件大小是否小于16MB（默认值）。如果发现平均文件大小小于16MB，则认为分区下有小文件，Spark会启动一个Job合并这些小文件，并将合并后的大文件写入到最终的表目录下。 使用约束 写入表的类型为：Hive、Datasource 支持的数据格式：parquet、orc
心跳和数据判齐功能用于统计CDL同步任务的全链路信息， 包括从数据库管理系统RDBMS到Kafka的数据耗时、从Kafka消费数据写入到Hudi的数据耗时和数据条数等一系列信息，并将其写入到特定的Topic（cdl_snapshot_topic）中，用户可自行消费Topic中的数据并写入到某个特定H
ttl），通过-yD添加，默认值为0。 根据实际情况而定 Checkpoint间隔时长大于Checkpoint执行时长 checkpoint执行时长视checkpoint的数据量相关，数据量越大实行耗时越大 Checkpoint超时时长大于Checkpoint间隔时长 Checkpoint间隔时长是指多长时间触
标签的key值可以包含任意语种字母、数字、空格和_.:=+-@，但首尾不能含有空格，不能以_sys_开头。 同一资源的key值不能重复。 最大长度128个unicode字符，不能为空字符串。 默认取值： 不涉及 value 是 String 参数解释： 标签的值。 约束限制： 不涉及 取值范围： 标签的value值可以包含任意语种字母、数字、空格和_
使用Token认证机制时对Token的操作。 本章节内容适用于MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求，并准备一个系统用户。 已开启Token认证机制。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换
致数据膨胀的算子时，使用该特性可以有效减少数据的膨胀倍数，且减少shuffle落盘的数据，从而获得性能提升。开启后，count(distinct)算子的实现，将由原来的expand+多轮聚合，变成普通的count_distinct聚合函数。 使用约束 作业已配置足够的内存。 配置参数
WebUI】登录Hue WebUI报错无权限 现象描述 开启Kerberos认证的集群，使用admin用户登录Hue WebUI，报错“无权限或无法连接到hive server，请检查当前用户的hive权限以及hue的hive配置是否正确。”或“No available hive server
为什么DataNode无法正常上报数据块 问题 DataNode正常，但无法正常上报数据块，导致存在的数据块无法使用。 回答 当某个数据目录中的数据块数量超过4倍的数据块限定值“1M”时，可能会出现该错误。DataNode会产生相应的错误日志记录，如下所示： 2015-11-05 10:26:32,936 |
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
