检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当前环境HBase已经是容灾集群，因为某些原因，需要将主备集群互换，即备集群变成主集群，主集群变成备集群。 本章节适用于MRS 3.x及之后版本。 对系统的影响 主备集群互换后，原先主集群将不能再写入数据，原先备集群将变成主集群，接管上层业务。 操作步骤 确保上层业务已经停止 确保上层业务已经停止，如果没有停止，先执行
ILES_BY_DAYS时，该参数可以设置保留多少天以内的归档文件，默认值30（天）。 注意事项 归档文件，没有备份，删除之后无法恢复。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题： Hudi DML语法说明
这些临时文件： call clean_data(table => 'mytable', sql=>'delete cleanData') 系统响应 可在客户端中查看查询结果。 父主题： Hudi数据管理维护
由于Timeout waiting for task异常导致Shuffle FetchFailed 问题 使用JDBCServer模式执行100T的TPCDS测试套，出现Timeout waiting for task异常导致Shuffle FetchFailed，Stage一直重试，任务无法正常完成。
ADD COLUMNS (a1 INT, b1 STRING) TBLPROPERTIES('DEFAULT.VALUE.a1'='10'); 系统响应 通过运行DESCRIBE命令，可显示新添加的列。 父主题： DDL
将列a1的精度从10更改为18。 ALTER TABLE test_db.carbon CHANGE a1 a1 DECIMAL(18,2); 系统响应 通过运行DESCRIBE命令，将显示被修改列变更后的数据类型。 父主题： DDL
时间宏dataformat中的第一个参数的日期格式定义可参考“java.text.SimpleDateFormat.java”中的定义，但需要遵循目标系统的约束，例如HDFS/OBS目录不支持特殊符号等。 Loader宏定义 目前Loader默认支持以下时间宏定义： 表1 Loader常用宏定义
时间宏dataformat中的第一个参数的日期格式定义可参考“java.text.SimpleDateFormat.java”中的定义，但需要遵循目标系统的约束，例如HDFS/OBS目录不支持特殊符号等。 Loader宏定义 目前Loader默认支持以下时间宏定义： 表1 Loader常用宏定义
HBase容灾集群主备倒换 操作场景 当前环境HBase已经是容灾集群，因为某些原因，需要将主备集群互换，即备集群变成主集群，主集群变成备集群。 对系统的影响 主备集群互换后，原先主集群将不能再写入数据，原先备集群将变成主集群，接管上层业务。 操作步骤 确保上层业务已经停止 确保上层业务已
cleanbackup/hoodie_repair_backup_20220222222222'); 注意事项 命令只清理无效的parquet文件。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题： Hudi CALL COMMAND语法说明
采用Hcatalog的方式，参数指定对应的Hive库和表，需要修改SQL语句指定到具体字段（需要修改脚本）。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 原来的脚本： sqoop import --connect 'jdbc:mysql://10
Flink作业引擎概述 Flink WebUI提供基于Web的可视化开发平台，用户只需要编写SQL即可开发作业，极大降低作业开发门槛。同时通过作业平台能力开放，支持业务人员自行编写SQL开发作业来快速应对需求，大大减少Flink作业开发工作量。 Flink WebUI功能仅支持MRS
Flink作业引擎概述 Flink WebUI提供基于Web的可视化开发平台，用户只需要编写SQL即可开发作业，极大降低作业开发门槛。同时通过作业平台能力开放，支持业务人员自行编写SQL开发作业来快速应对需求，大大减少Flink作业开发工作量。 Flink WebUI特点 Flink
Ranger基本原理 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限
Array[String]) { val ssc = createContext(args) //启动Streaming系统。 ssc.start() ssc.awaitTermination() } def createContext(args
compress.CompressionCodec> codec) 把dataset写到一个text file、hdfs、或者hdfs支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 java.util.Map<K,Object> countByKey() 对每个key出现的次数做统计。
ERROR表示记录当前时间处理存在错误信息。 WARN WARN表示记录当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改实例的运行日志或审计日志级别，请执行如下操作： 登录FusionInsight
Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：
度。 动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。 操作步骤 需要先配置External shuffle service。 登录FusionInsight Manager，选择“集群
参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 换行符 用户根据数据实际情况，填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 string 否 \n 分割长度单位 长度单位，可选择“char”字符或“byte”字节。 enum 是 char 输入字段 配置输入字段相关信息：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
