检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Linux系统上新建文本文件，将log1.txt中的内容复制保存到data.txt。 在HDFS上创建一个文件夹，“/tmp/examples/multi-components/mapreduce/input/”，并上传data.txt到此目录，命令如下。 在Linux系统HDFS客户端使用命令hdfs
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 已创建的用户在本节点无操作权限。 可能原因 扩容过程中已有节点停止或故障。 处理步骤 在FusionInsight Manager首页，选择“集群 > 服务 > ClickHouse
影响范围 涉及版本 MRS 3.x 涉及模块 管理面：不涉及该漏洞 租户面：Manager（Web+Controller+nodeagent）、Kafka、Flink MRS 3.1.0.x执行以下章节： 修复Manager Web 修复Manager Controller 修复Manager
群管理页面”、“安全组”。 在管理控制台首页服务列表中选择“弹性云服务器”，进入ECS管理控制台，创建一个新的弹性云服务器。 弹性云服务器的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。例如，选择一个标准镜像“Windows
然后对数据进行排序，可提高查询性能。 压缩的策略根据实际的数据大小和可用资源决定。如某银行1天加载一次数据，且加载数据选择在晚上无查询时进行，有足够的资源，压缩策略可选择为6、5。 表7 使用索引缓存服务器时是否开启数据预加载 参数 carbon.indexserver.enable
securityConfig = ";saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;user.principal=sparkuser;user.keytab=/opt/FIclient/user.keytab;";
cd/opt/hadoopclient kinit<用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -putlog1.txt
准备一个应用程序运行测试的环境。 准备运行调测环境 在弹性云服务器管理控制台，申请一个新的弹性云服务器，用于应用开发运行调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。
cd/opt/hadoopclient kinit<用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -putlog1.txt
nt”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 MRS 3.x及之后版本的Impala客户端节点（Euler2.9及以上操作系统）需要安装Python2版本，具体请参考Impala客户端安装Python2。 操作步骤 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。
当集群网络拓扑发生变化时，需要使用FusionInsight Manager为主机重新分配机架，相关服务才会自动调整。 本章节仅适用于MRS 3.x及以后版本。 修改集群节点机架信息对系统的影响 修改主机机架名称，将影响HDFS的副本存放策略、Yarn的任务分配及Kafka的Part
name}/hbase-staging”（例如“/user/omm/hbase-staging”），此处“$ {user.name}”是操作系统用户名（即omm用户），客户端（kerberos用户，例如admin用户）不具备该目录的rwx权限。 上述问题可通过执行以下步骤解决： 在客户端将“hbase
compress.CompressionCodec> codec) 把dataset写到一个text file、hdfs、或者hdfs支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 java.util.Map<K,Object> countByKey() 对每个key出现的次数做统计。
--value true。 属性类别 子属性 含义 server -h,--host 服务IP地址 -p,--port 服务端口 -w,--webapp Tomcat应用名 -u,--url Sqoop服务URL option verbose 冗余模式，表示打印更多的信息 poll-timeout
private static final String USER_PRINCIPAL = "用户自己申请的账号名称"; MRS服务Kerberos认证模块，如果服务没有开启kerberos认证，这块逻辑不执行 public static void securityPrepare()
ns-crypto.version}变量。该变量的解析逻辑为，os为aarch64时值为“1.0.0-hw-aarch64”，os为x86_64时值为“1.0.0”。编译环境因为一些配置原因导致maven未能通过os正确解析该变量时，可采用手动修改pom.xml方式进行规避正确编译。
”，单击“保存”，单击“确定”，重启HDFS服务。 “HTTP_ONLY”默认是勾选的。 操作步骤 登录FusionInsight Manager页面，单击“集群 > 待操作集群的名称 > 服务”，选择“HDFS”，单击进入HDFS服务状态页面。 由于webhdfs是http访问
--FlinkServer所在集群为非安全模式去掉此参数 'properties.kerberos.domain.name' = 'hadoop.系统域名' --FlinkServer所在集群为非安全模式去掉此参数 ); CREATE TABLE LD_SINK( `name` STRING
SQL native作为SQL执行引擎来读取ORC数据，默认为hive。 配置参数 登录FusionInsight Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 取值范围 spark.sql.orc.e
执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 本章节适用于MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担，所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括H
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
