检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行失败,出现如下类似报错:“获取Sftp通道失败。xxx (原因是: failed to send channel request)”。 SFTP服务出现如下报错:“subsystem request failed on channel 0. Connection closed”。
输入用户密码 在ClickHouse实例节点上创建和DWS表结构相同的表。 例如,当前执行以下建表语句,在ClickHouse实例上的默认数据库和用户下创建和3中相同表结构的ReplicatedMergeTree表warehouse_t1。 CREATE TABLE warehouse_t1
ager的配置文件“yarn-site.xml”中配置下面的参数来更改日志级别。 表1 参数描述 参数 描述 默认值 yarn.nodemanager.container-localizer.java.opts 附加的jvm参数是提供给本地化container进程使用的。 -Xmx256m
HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}” 运行中的任务日志存储在以上路径中,运行结束后会基于Yarn的配置确定是否汇聚到HDFS目录中,详情请参见Yarn常用配置参数。
HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}” 运行中的任务日志存储在以上路径中,运行结束后会基于Yarn的配置确定是否汇聚到HDFS目录中,详情请参见Yarn常用配置参数。
use、Spark、Flink、Kafka、HBase等Hadoop生态的高性能大数据引擎,支持数据湖、数据仓库、BI、AI融合等能力,完全兼容开源,快速帮助客户上云构建低成本、灵活开放、安全可靠、全栈式的云原生大数据平台,满足客户业务快速增长和敏捷创新诉求。 父主题: 产品咨询类
删除HDFS上某个指定文件或者文件夹。 被删除的文件或文件夹,会被放在当前用户目录下的.Trash/Current文件夹中。若发生误删除,可从该文件夹中恢复。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类。
问题 系统默认的AppAttempts运行失败的次数为2,为什么在执行任务时,AppAttempts重试次数超过2次还没有运行失败? 回答 在执行任务过程中,如果ContainerExitStatus的返回值为ABORTED、PREEMPTED、DISKS_FAILED、KILL
期可用。 MRS服务可以展示详细的补丁安装过程,支持补丁的卸载和失败回滚。 运维支撑 MRS集群的资源完全属于用户,通常情况下,当集群出现问题需要运维人员支撑时,运维人员无法直接访问该集群。为了更好的服务客户,MRS提供两种方式来减少定位问题时的信息传递: 日志共享:用户可以在M
ReadOnlyAccess、MRS FullAccess权限,无法在控制台提交作业,怎么办? 答: 用户子账号同时添加了MRS ReadOnlyAccess、MRS FullAccess权限,由于权限优先级的问题导致了当前在控制台界面无法添加作业。 当IAM子账号所在组同时有MRS FullAccess、MRS
数据迁移到新集群后,HBase的Region状态为RIT或FAILED_OPEN。 原因分析 登录到集群的Core节点查看RegionServer日志,报错: “Region‘3b3ae24c65fc5094bc2acfebaa7a56de’”打开失败,Region状态被设置为FAILED_OPEN。
拖到右侧的操作界面中并将其连接。 采用Taildir Source、Memory Channel和HDFS Sink,如图3所示。 图3 Flume配置工具示例 双击对应的Source、Channel以及Sink,根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
因此,能够基于数据的age自动识别出老化的数据,并将它们迁移到价格低廉的存储介质(如Disk/Archive)上,会给用户节省很高的存储成本,提高数据管理效率。 HDFS Auto Data Movement工具是HDFS冷热数据迁移的核心,根据数据的使用频率自动识别数据冷热设定不同的存储策略。该工具主要支持以下功能:
问题 系统默认的AppAttempts运行失败的次数为2。 为什么在执行任务时,AppAttempts重试次数超过2次还没有运行失败? 回答 在执行任务过程中,若ContainerExitStatus的返回值为ABORTED、PREEMPTED、DISKS_FAILED、KILL
set 回答 当试图从启用SSL的kafka数据源采集数据时,而安装程序无法读取jars.conf文件及其属性时,可能会发生这种情况。 要解决此问题,需要将所需的属性作为通过Spark提交的命令的一部分传递。如:--files jaas.conf,failed_tables.json
set 回答 当试图从启用SSL的kafka数据源采集数据时,而安装程序无法读取jars.conf文件及其属性时,可能会发生这种情况。 要解决此问题,需要将所需的属性作为通过Spark提交的命令的一部分传递。如:--files jaas.conf,failed_tables.json
节点标签管理 标签是集群/节点的标识,为集群/节点添加标签,可以方便用户识别和管理拥有的集群/节点资源。MRS服务通过与标签管理服务(TMS)关联,可以让拥有大量云资源的用户,通过给云资源打标签,快速查找具有同一标签属性的云资源,进行统一检视、修改、删除等管理操作,方便用户对大数据集群及其他相关云资源的统一管理。
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况,可以通过修改服务端的配置项控制是否对内存使用进行检测。 若不检测内存使用,Container会占用内存直到内存溢出;若检测内存使用,当内存使用超过配置的内存大小时,相应的Container会被kill掉。 配置描述 参
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况,可以通过修改服务端的配置项控制是否对内存使用进行检测。 如果不检测内存使用,Container会占用内存直到内存溢出;如果检测内存使用,当内存使用超过配置的内存大小时,相应的Container会被kill掉。 配置描述
回答 复制表副本版本不一致存在兼容性问题,表结构中有TTL语句,ClickHouse 20.9之后版本新加了TTL_DELETE,之前的版本不识别,高版本复制表副本被选作leader时会出现该问题。 可修改高版本ClickHouse 配置文件config.xml文件做规避,需尽可能保证复制表副本见ClickHouse