检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果需要从远端HDFS恢复数据，需要准备备集群，且已完成数据备份，详细操作请参见备份DBService元数据。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置MRS集群间互信。如果主集群部署为普通模式，则不需要配置互信。
命令，参考5将文件从工作环境导入HDFS，并设置Spark组件用户在HDFS中对文件有读取和执行的权限。 例如，HDFS的“tmp”目录有一个文件“data.csv”，内容如下： x123,111,dd,2017-04-20 08:51:27,2017-04-20 07:56:51
spark.sql.hive.filesourcePartitionFileCacheSize 启用内存中分区文件元数据的缓存大小。 所有表共享一个可以使用指定的num字节进行文件元数据的缓存。 只有当“spark.sql.hive.manageFilesourcePartitions
spark.sql.hive.filesourcePartitionFileCacheSize 启用内存中分区文件元数据的缓存大小。 所有表共享一个可以使用指定的num字节进行文件元数据的缓存。 只有当“spark.sql.hive.manageFilesourcePartitions
句），然后编译、执行（提交到YARN或运行Local MR）、与MetaStore交互获取元数据信息等。HiveServer运行日志记录了一个SQL完整的执行过程。 通常情况下，当遇到SQL语句运行失败，首先需要查看HiveServer运行日志。 MetaStore运行日志 通常
orker两个角色组成。 在存算架构下，Spark、Hive等计算分析应用的数据存储在对象存储服务(OBS)中。在MemArtsCC集群上一个服务实例称为Worker，对于OBS上的对象数据，Worker缓存其中部分或全部分片到本地的持久化存储（SSD/HDD）中。上层应用通过MemArtsCC
行compaction的FileSlice，最后CompactionPlan会写入Hudi的Timeline。 执行Compaction：一个单独的进程/线程将读取CompactionPlan并对FileSlice执行Compaction操作。 使用Compaction的方式分为同步和异步两种：
单表数据总条数*单表数据大小/1024/1024 非分区表桶数 = MAX（单表数据量大小(G)/2G*2，再向上取整，4） 分区表 最近一个月最大数据量分区数据总条数 = 入湖前咨询产品线 单条数据大小 = 平均 1KB（华为建议通过select * from tablename
进入beeline客户端，在创建表时指定Location为OBS文件系统路径。 cd 客户端安装目录 kinit 组件操作用户 beeline 例如，创建一个表“test”，该表的Location为“obs://obs-test/test/数据库名/表名”： create table test(name
txt中的内容复制保存到input_data1.txt，将log2.txt中的内容复制保存到input_data2.txt。 在HDFS上建立一个文件夹，“/tmp/input”，并上传input_data1.txt，input_data2.txt到此目录，命令如下。 在HDFS客户端，执行如下命令获取安全认证。
time：消费线程存活时间，默认值“180000”，单位ms。 server.port：访问SpringBoot服务端的端口，默认值为“8080”，支持自定义修改。 server.address: SpringBoot服务端启动时绑定的IP地址，默认值为“0.0.0.0”，需要修改为SpringBoot服务部署节点的IP地址。
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 堆内存溢出可能导致服务崩溃，服务崩溃后无法使用Oozie服务调度任务。 可能原因 该节点Oozie实例堆内
2，详情可参考https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls
和“Admin”，如图3所示。 图3 授权Yarn权限 ，单击“确定”保存。 单击“系统设置 > 用户管理 > 添加用户”，为样例工程创建一个用户。 填写用户名，例如hiveuser，用户类型为“机机”用户，加入用户组supergroup，设置其“主组”为supergroup，并
在Linux客户端运行应用和在Windows环境下运行应用的初始化代码相同，代码样例如下所示。 //初始化 confLoad(); // 创建一个用例 HdfsExample hdfs_examples = new HdfsExample("/user/hdfs-examples"
Digest函数来简单估计文本之间的相似性。通过使用函数ngrams()将输入文本分割为4-shingles（文本被分成长度为4的连续子序列，每个子序列称为一个shingle或者gram），它们被用于创建每个初始文本的集合摘要。将集合摘要相互比较，以获得其相应初始文本相似性的近似值。 WITH text_input(id
句。 灵活的数据存储格式，支持JSON、CSV、TEXTFILE、RCFILE、SEQUENCEFILE、ORC等存储格式。 Hive作为一个基于HDFS和MapReduce架构的数据仓库，其主要能力是通过对HQL（Hive Query Language）编译和解析，生成并执行相
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Kafka可用直接内存不足，会造成内存溢出导致Broker实例崩溃，影响该Broker正常提供读写服务。 可能原因
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 直接内存溢出可能导致服务崩溃。 可能原因 节点UserSync实例直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 直接内存溢出可能导致服务崩溃。 可能原因 节点PolicySync实例直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
