检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
发现29101端口连接对端端口为21005，而21005为Kafka服务端端口。 说明业务层作为客户端连接Kafka获取消息，业务端口分配通过OS的随机端口分配范围来确定。 通过cat /proc/sys/net/ipv4/ip_local_port_range命令查看随机端口范围。
HDFS读文件失败报错“No common protection layer” 问题背景与现象 shell客户端或者其他客户端操作HDFS失败，报“No common protection layer between client and server”。 在集群外的机器，执行任意hadoop命令，如hadoop
Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储
Hive输出 概述 “Hive输出”算子，用于配置已生成的字段输出到Hive表的列。 输入与输出 输入：需要输出的字段 输出：Hive表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive文件存储格式 配置Hive表文件的存储格式（目前支持四种格式：CSV、ORC、RC和PARQUET）。
Hive输出 概述 “Hive输出”算子，用于配置已生成的字段输出到Hive表的列。 输入与输出 输入：需要输出的字段 输出：Hive表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive文件存储格式 配置Hive表文件的存储格式（目前支持四种格式：CSV、ORC、RC和PARQUET）。
HBase应用开发建议 不要调用Admin的closeRegion方法关闭一个Region Admin中，提供了关闭一个Region的接口： public void closeRegion(final String regionname, final String serverName)
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
使用ZSTD_JNI压缩算法压缩Hive ORC表 操作场景 ZSTD_JNI是ZSTD压缩算法的native实现，相较于ZSTD而言，压缩读写效率和压缩率更优，并允许用户设置压缩级别，以及对特定格式的数据列指定压缩方式。 目前仅ORC格式的表支持ZSTD_JNI压缩方式，而普通
HyperLogLog函数 HetuEngine使用HyperLogLog数据结构实现rox_distinct（）函数。 数据结构 HyperLogLog（hll）是一种统计基数的算法。它实际上不会存储每个元素出现的次数，它使用的是概率算法，通过存储元素的32位hash值的第一个
手动导入IoTDB数据 操作场景 该任务指导用户使用“import-csv.sh”将CSV格式的数据导入到IoTDB。 前提条件 已安装客户端，请参见。例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 各组件业务用户由MRS集群管理
迁移Kafka节点内数据 操作场景 用户可以根据业务需求，通过Kafka客户端命令，在不停止服务的情况下，进行节点内磁盘间的分区数据迁移。也可以通过KafkaUI进行分区迁移。 前提条件 MRS集群管理员已明确业务需求，并准备一个Kafka用户（属于kafkaadmin组，普通模式不需要）。
ZooKeeper - Client environment:os.name=Windows 7 1670 [main] INFO org.apache.zookeeper.ZooKeeper - Client environment:os.arch=amd64 1670 [main] INFO
参考Hive JDBC代码用例开发的业务应用运行失败 问题背景与现象 用户参考Hive组件的“jdbc-examples”样例工程，完成其自身业务应用开发后，运行此应用失败。应用侧报如下异常： .......... 2017-05-11 14:33:52.174 ERROR
使用HetuEngine跨源跨域访问数据源 HetuEngine跨源功能简介 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境，导致跨源查询开发成本高，跨源复杂查询耗时长。
Apache Log4j2 远程代码执行漏洞（CVE-2021-44228）修复指导 本章节指导用户修复log4j2的CVE-2021-44228漏洞。目前有两种方式可以采用如下两种方式修复： 现有集群节点安装补丁 扩容节点安装补丁 前提条件 从OBS路径中下载的补丁工具“MRS_Log4j_Patch
使用Spark小文件合并工具说明 工具介绍 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因
3.1.2-LTS.2.14修复问题列表： MRS Manager 解决备oms节点上报fms资源异常告警的问题。 解决扩容失败HOSTS_OS_PATCH_STATE表IP残留导致后续扩容失败的问题。 解决CES监控和Yarn上监控对不上的问题。 解决OMS频繁主备倒换的问题。
Spark常用命令介绍 Spark命令详细的使用方法参考官方网站的描述：http://spark.apache.org/docs/latest/quick-start.html。 常用命令 Shell命令执行方法： 进入Spark客户端目录。 初始化环境变量。 source /o
per-job模式：修改为sql文件的实际路径。如：客户端安装目录/Flink/flink/datagen2kafka.sql yarn-application模式：修改为os.getcwd() + "/../../../../yarnship/datagen2kafka.sql" yarn-session模式：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
