检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何迁移Hive/HDFS的数据到ClickHouse 问题 如何迁移Hive/HDFS的数据到ClickHouse。 回答 可以将Hive中的数据导出为CSV文件,再将CSV文件导入到ClickHouse。 从Hive中导出数据为CSV: hive -e "select * from
其中Host为获取的Worker运行的主机IP地址,Port为调试的端口号(确保该端口在运行机器上没被占用)。 图3 配置参数 当改变Port端口号时,在WORKER_GC_OPTS中追加的调试参数也要跟着改变,比如Port设置为8011,对应的调试参数则变更为-Xdebug -Xr
配置ClickHouse系统表的生命周期 操作场景 ClickHouse没有默认配置系统表的TTL,长期使用可能会占用大量磁盘空间。 本章节指导用户配置系统表的生命周期,仅保留近30天的数据,减少系统表的磁盘使用。 本章节仅适用于MRS 3.2.0之前版本。 操作步骤 使用具有ClickHo
配置ClickHouse系统表的生命周期 操作场景 ClickHouse没有默认配置系统表的TTL,长期使用可能会占用大量磁盘空间。 本章节指导用户配置系统表的生命周期,仅保留近30天的数据,减少系统表的磁盘使用。 本章节仅适用于MRS 3.2.0之前版本。 操作步骤 使用具有ClickHo
其中Host为获取的Worker运行的主机IP地址,Port为调试的端口号(确保该端口在运行机器上没被占用)。 图3 配置参数 当改变Port端口号时,在WORKER_GC_OPTS中追加的调试参数也要跟着改变,比如Port设置为8011,对应的调试参数则变更为-Xdebug -Xr
访问开启Kerberos认证模式Kafka集群端口默认为21007,访问没有开启Kerberos认证模式集群端口默认为21005。 旧API仅支持访问9092端口;新API兼容访问没有开启Kerberos模式集群端口9092和开启Kerberos认证模式集群端口21007。 父主题: Kafka接口介绍
使用HDFS 修改RPC端口后HDFS NameNode实例都变为备状态 通过公网IP连接使用HDFS客户端报错 使用Python远程连接HDFS的端口失败 HDFS容量达到100%导致上层服务HBase、Spark等不可用 启动HDFS和Yarn服务报错“Permission denied”
使用Loader 从零开始使用Loader Loader使用简介 Loader常用参数 创建Loader角色 Loader连接配置说明 管理Loader连接(MRS 3.x之前版本) 管理Loader连接(MRS 3.x及之后版本) Loader作业源连接配置说明 Loader作业目的连接配置说明
使用Yarn 集群启动Yarn后产生大量作业占用资源 通过客户端hadoop jar命令提交任务后返回“GC overhead”报错 Yarn汇聚日志过大导致节点磁盘被占满 MapReduce任务异常,临时文件未删除 Yarn客户端的端口信息错误导致提交任务后报错connection
使用HDFS HDFS文件系统目录简介 HDFS用户权限管理 HDFS客户端使用实践 快速使用Hadoop 配置HDFS文件回收站机制 配置HDFS DataNode数据均衡 配置HDFS DiskBalancer磁盘均衡 配置HDFS Mover命令迁移数据 配置HDFS文件目录标签策略(NodeLabel)
properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确。 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007(开启kerberos认证模式端口),那么修改该端口为9092(没有开启kerberos认证模式端口)。
[,structure]) path:带有文件路径的Bucket URL地址。 format:文件的格式。 access_key_id, secret_access_key:账号的长期凭证,可以使用凭证来对请求进行认证,参数是可选的。如果没有指定凭据,将从配置文件中读取凭据。 structure:表结构。
Server。根据客户端的不同,提供如下两种客户端的链接方式。 使用MRS提供的客户端。 未启用Kerberos认证的集群,执行以下命令连接本集群的Presto Server。 presto_cli.sh 未启用Kerberos认证的集群,执行以下命令连接其他集群的Presto Ser
快速创建和使用启用安全认证的MRS集群 操作场景 本入门提供从零开始创建开启Kerberos认证的Hadoop分析集群并通过集群客户端提交一个wordcount作业的操作指导。wordcount是最经典的Hadoop作业,用于统计海量文本的单词数量。 Hadoop集群完全使用开源Ha
将“主机IP”设置为新申请的弹性云服务器的IP地址,设置“主机端口”为“22”,并将“存放路径”设置为“/tmp”。 如果使用SSH登录ECS的默认端口“22”被修改,请将“主机端口”设置为新端口。 “保存路径”最多可以包含256个字符。 “登录用户”设置为“root”。 如果使用其他用户,请
如何获取Topic的分布信息 用户问题 如何获取Topic在Broker实例的分布信息? 前置操作 前提条件 已安装Kafka、ZooKeeper客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。
每个block对应的机架信息组成为:/default/rack0/:,/default/rack0/datanodeip:port。 该问题是由于某个block块损坏或者丢失,导致该block对应的机器ip和port为空引起的,出现该问题的时候使用hdfs fsck检查对应文件块的健康状态
每个block对应的机架信息组成为:/default/rack0/:,/default/rack0/datanodeip:port。 该问题是由于某个block块损坏或者丢失,导致该block对应的机器ip和port为空引起的,出现该问题的时候使用hdfs fsck检查对应文件块的健康状态
快速使用Flume采集节点日志 操作场景 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络,使日志生成节点与流集群互通。 使用Flume客户端(MRS 3.x之前版本)
使用Alluixo Alluixo在HA模式下出现Does not contain a valid host:port authority报错