检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看业务是否存在大SQL任务 在“计算实例”页签，展开对应租户下的实例，单击计算实例“WebUI”列的“LINK”，查看所有任务的运行情况。 在“Sort”列选择“Execution Time”对运行的任务进行排序，查看是否存在运行时间过长的任务（小时级的任务）。 是，执行10。 否，执行12。
十进制函数和操作符 DECIMAL字面量 可以使用DECIMAL 'xxxxxxx.yyyyyyy' 语法来定义DECIMAL类型的字面量。 DECIMAL类型的字面量精度将等于字面量（包括尾随零和前导零）的位数。范围将等于小数部分（包括尾随零）的位数。 示例字面量 数据类型 DECIMAL
使用Hudi-Cli.sh操作Hudi表 前提条件 对于开启了Kerberos认证的安全模式集群，已在集群FusionInsight Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点，执行如下命令：
datasource.write.operation 写hudi表指定的操作类型，当前支持upsert、delete、insert、bulk_insert等方式。 upsert：更新插入混合操作 delete：删除操作 insert：插入操作 bulk_insert： 用于初始建表导入数据， 注意
使用该操作，如果数据源中存在更新数据，则在数据湖中会出现重复数据。 BULK_INSERT（批量插入）：用于初始数据集加载， 该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表，该操作性能是最高的，但是无法控制小文件，而UPSERT和INSERT操作使用启发式方法可以很好的控制小文件。
使用Hudi-Cli.sh操作Hudi表 前提条件 对于开启了Kerberos认证的安全模式集群，已在集群FusionInsight Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点，执行如下命令：
正在运行：正在运行的慢查询SQL语句。 已取消：在“正在进行的慢查询”页签中单击慢查询SQL语句“操作”列的“终止”，即可结束对应慢查询SQL语句。 已结束：已经正常运行完成的慢查询SQL语句。 操作 仅在“正在进行的慢查询”页签显示，表示当前查询出来的慢SQL语句，可以单击“终止”结束该慢SQL语句查询。
管理租户目录 进入租户管理页面。 通过MRS管理控制台操作：在MRS管理控制台单击待操作的集群，在集群详情页，单击“租户管理”。 通过Manager操作（MRS 3.x及之后版本集群）：在Manager页面单击“租户资源”。 通过Manager操作（MRS 2.x及之前版本集群）：在Manager页面单击“租户管理”。
ngContext通过运行任务处理Executor内存中的Block来执行Job。 周期性地设置检查点（橙色箭头） 为了容错的需要，StreamingContext会周期性地设置检查点，并保存到外部文件系统中。 操作流程 本实践操作流程如下所示： 步骤1：创建MRS集群：创建一个
Job Success."); } 对于Shell客户端方式执行的任务 先执行kinit命令认证用户。 通过操作系统定时任务或者其他定时任务方式定时执行kinit命令认证用户。 提交作业执行大数据任务。 对于Spark作业 通过spark-shell、spark-submi
Hudi Savepoint操作说明 Savepoint用于保存并还原自定义的版本数据。 Hudi提供的savepoint就可以将不同的commit保存起来以便清理程序不会将其删除，后续可以使用Rollback进行恢复。 使用spark-sql管理savepoint。 示例如下：
如何配置HBase双读能力 操作场景 HBase客户端应用通过自定义加载主备集群配置项，实现了双读能力。HBase双读作为提高HBase集群系统高可用性的一个关键特性，适用于四个查询场景：使用Get读取数据、使用批量Get读取数据、使用Scan读取数据，以及基于二级索引查询。它能
修改MRS集群LDAP普通用户密码 该任务指导用户定期修改MRS集群的LDAP管理员用户和LDAP用户的密码，以提升系统运维安全性。 MRS 3.1.0版本用户名称： LDAP管理员用户：cn=root,dc=hadoop,dc=com LDAP用户：cn=pg_search_dn
HDFS写并发较大时报副本不足 问题背景与现象 用户运行作业时写文件到HDFS，偶现写文件失败的情况。 操作日志如下： 105 | INFO | IPC Server handler 23 on 25000 | IPC Server handler 23 on 25000, call
FusionInsight_Cluster_1_Flume_ClientConfig.tar 如果在集群外节点安装Flume客户端，需执行如下步骤配置安装环境。在集群内节点安装可不执行该步骤。 执行以下命令，安装客户端运行环境到新的目录，例如“/opt/Flumeenv”。安装时自动生成目录。 sh /o
议使用该操作，若数据源中存在更新数据，则在数据湖中会出现重复数据。 BULK_INSERT（批量插入）：用于初始数据集加载， 该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表，该操作性能是最高的，但是无法控制小文件，而UPSERT和INSERT操作使用启发式方法可以很好的控制小文件。
result); } /** * setup()方法只在进入map任务的map()方法之前或者reduce任务的reduce()方法之前调用一次。 * * @param context Context
autoUpdate.enabled 开启当表的数据发生变化时，自动更新表的大小信息。注意如果表的数据文件总数量非常多时，这个操作会非常耗费资源，减慢对数据的操作速度。 false [true,false] spark.sql.statistics.histogram.enabled
资源池，所有未加入用户自定义资源池的NodeManager属于此资源池。 该任务指导用户通过MRS添加一个自定义的资源池，并将未加入自定义资源池的主机加入此资源池。 前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。
0集群Flink数据分析时，将“$Flink_HOME/conf”目录下的“log4j.properties”文件中日志级别修改为INFO级别日志。 任务正常提交后，运行控制台未打印出INFO级别日志，输出的日志级别还是ERROR级别。 原因分析 修改“$Flink_HOME/conf”目录下的“log4j
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
