检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse数据导入导出 本章节主要介绍使用ClickHouse客户端导入导出文件数据的基本语法和使用说明。 使用ClickHouse客户端导入导出数据 CSV格式数据导入 clickhouse client --host 主机名/ClickHouse实例IP地址 --database
导入并配置MapReduce样例工程 操作场景 MapReduce针对多个场景提供样例工程，帮助客户快速学习MapReduce工程。 以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程，获取样例
导入并配置HDFS样例工程 操作场景 HDFS针对多个场景提供样例工程，帮助客户快速学习HDFS工程。 以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程
rver1和thriftserver2不能同时并存，但happybase只能通过thriftserver1接口连接到HBase。 因此建议客户使用Python直接连接到HBase，具体实现可参考https://github.com/huaweicloud/huaweicloud-
ZooKeeper与HDFS的关系如图1所示。 图1 ZooKeeper和HDFS的关系 ZKFC（ZKFailoverController）作为一个ZooKeeper集群的客户端，用来监控NameNode的状态信息。ZKFC进程仅在部署了NameNode的节点中存在。HDFS NameNode的Active和Standby节点均部署有ZKFC进程。
e NameNode出现异常时接管其服务。 Observer NameNode：与Active NameNode中的数据保持同步，处理来自客户端的读请求。 DataNode 用于存储每个文件的“数据块”数据，并且会周期性地向NameNode报告该DataNode的数据存放情况。 JournalNode
对于不同类型的应用，希望以不同方式处理AM重启的事件。MapReduce类应用的目标是不丢失任务，但允许丢失当前运行的Container。但是对于长周期的YARN服务而言，用户可能并不希望由于AM的故障而导致整个服务停止运行。 YARN支持在新的ApplicationAttempt启动时，保留之前Containe
xml”，如果包含“<hadataprotocol value="ssl"></hadataprotocol>”，则已开启SSL。 操作步骤 以omm用户登录到需要还原的DBService节点。 执行以下命令恢复DBService的“hacom_local.xml”配置文件： cd $BIG
无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释： 项目编号。获取方法，请参见获取项目ID。
设置系统的环境变量说明 Hadoop在安全认证的时候，需要获取客户端所在主机的域名（Default Realm，从环境变量USERDNSDOMAIN中获取）。如果该主机没有域名，则运行样例程序会有如下报错： 此时需要用户设置系统的环境变量USERDNSDOMAIN以规避该问题，具体如下：
OVERWRITE：如果使用了这个关键字，目标表（或分区）的数据将被删除，并使用文件中读取的数据来替代。 限制 如果要加载数据到指定分区，用户必须在partition子句中列出表的所有字段。 不支持复杂类型数据，比如Array，Map等。 不支持外部表（external）。 数据文件的格式应当与目标表的文件格式一样。
置。 调整元数据缓存配置可参考调整HetuEngine元数据缓存。 调整动态过滤配置可参考调整HetuEngine动态过滤。 调优案例 某用户使用Hudi MOR表存储其设备的订单出借信息，可通过订单号查询订单详细信息，每天订单量相对稳定，部分节假日可能存在小高峰，该场景存在以下特点：
当进行join操作时，配置广播的最大值。 当SQL语句中涉及的表中相应字段的大小小于该值时，进行广播。 配置为-1时，将不进行广播。 配置自动广播阈值的方法： 在Spark的配置文件“spark-defaults.conf”中，设置“spark.sql.autoBroadcastJoinThreshold”的值。
配置安全组出入规则。 下载客户端程序。 登录MRS Manager系统。 选择“服务管理 > 下载客户端 ”，下载“完整客户端”到“远端主机”上，即下载客户端程序到新申请的弹性云服务器上。 登录存放下载的客户端的节点，再安装客户端。 执行以下命令解压客户端包： cd /opt tar
information. 客户端机器必须安装有setuptools，版本为47.3.1。可在https://pypi.org/project/setuptools/#files下载相应的安装包。 将下载的setuptools压缩文件复制到客户端机器上，解压后进入解压目录，在客户端机器的命令行终端执行以下命令：
information. 客户端机器必须安装有setuptools，版本可取47.3.1。可在https://pypi.org/project/setuptools/#files下载相应的安装包。 将下载的setuptools压缩文件复制到客户端机器上，解压后进入解压目录，在客户端机器的命令行终端执行以下命令：
导入并配置HDFS样例工程 操作场景 HDFS针对多个场景提供样例工程，帮助客户快速学习HDFS工程。 以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 导入样例工程 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例
Caused by: java.lang.NoSuchFieldError: SECURITY_SSL_ENCRYPT_ENABLED 答： 客户代码里面打包的第三方依赖包和集群包冲突，提交到MRS集群运行失败。 需修改相关的依赖包，并将pom文件中的开源版本的Hadoop包和Fli
如何使用IBM JDK连接ZooKeeper 问题 使用IBM的JDK的情况下客户端连接ZooKeeper失败。 回答 可能原因为IBM的JDK和普通JDK的jaas.conf文件格式不一样。 在使用IBM JDK时，建议使用如下jaas.conf文件模板，其中“useKeyta
当进行join操作时，配置广播的最大值。 当SQL语句中涉及的表中相应字段的大小小于该值时，进行广播。 配置为-1时，将不进行广播。 配置自动广播阈值的方法： 在Spark的配置文件“spark-defaults.conf”中，设置“spark.sql.autoBroadcastJoinThreshold”的值。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
