检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
避免嵌套结构。 Key尽量不要使用String。 开发Spark应用程序时，建议序列化RDD。 RDD做cache时默认是不序列化数据的，可以通过设置存储级别来序列化RDD减小内存。例如： testRDD.persist(StorageLevel.MEMORY_ONLY_SER) 父主题：
b认证文件失败，最终导致作业未提交到launcher-job队列。 处理步骤 重置提交作业用户的密码。 登录Manager页面，选择“系统设置 > 用户管理”。在提交作业的IAM用户的操作列，选择“更多 > 初始化密码”，根据界面提示操作。初始化完成后需要使用该用户登录一次MRS
执行以下命令，修改审计日志备份文件数。 ./modifyLogConfig.sh -m最大保留个数 OMS备份组件审计日志默认最大保留90个，可选值为“0”到“365”，如果设置的保留个数越大，会占用更多的磁盘空间。 显示如下结果，说明修改成功： Modify log config successfully 父主题：
<path/for/output> <tablename> 注意事项 批量更新会把满足条件的行对应的字段值替换为要更新的值。 不支持批量更新已创建索引的字段的数据。 如果不设置执行结果输出文件，默认是“/tmp/updatedata/表名”。 父主题： 增强HBase BulkLoad工具数据迁移能力
as parquet TBLPROPERTIES("parquet.compression"="zstd"); 其他格式或通用格式建表可执行设置参数指定compress.codec为“org.apache.hadoop.io.compress.ZStandardCode”： set
DISTINCT] query ALL和DISTINCT表示是否返回包含重复的行。ALL返回所有的行；DISTINCT返回只包含唯一的行。如果未设置，默认为DISTINCT。 INTERSECT query INTERSECT [DISTINCT] query INTERSECT仅返回
时，该用户密码有效期保持不变。 单击“确定”完成修改操作。 修改用户信息（MRS 2.x及之前版本） 在MRS Manager，单击“系统设置”。 在“权限配置”区域，单击“用户管理”。 在要修改用户所在的行，单击“修改”，修改用户信息。 为用户修改用户组或分配的角色权限，最长可能需要3分钟时间生效。
format] 使用示例 --查看ClickHouse集群信息 select * from system.clusters; --显示当前节点设置的宏 select * from system.macros; --查看数据库容量 select sum(rows) as "总行数",
split(","); assert filePaths.length > 0; // windowTime设置窗口时间大小，默认2分钟一个窗口足够读取文本内的所有数据了 final int windowTime = ParameterTool
split(","); assert filePaths.length > 0; // windowTime设置窗口时间大小，默认2分钟一个窗口足够读取文本内的所有数据了 final int windowTime = ParameterTool
SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint，以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行，保证数据处理的延续性。 父主题： Flink应用开发概述
分区。当表属性“auto.purge”采用默认值“false”时，被删除的数据行将保存到文件系统的回收站，否则，当“auto.purge”设置为“true”时，数据行将被直接删除。 限制 目标表必须是管控表（表属性external=false），否则执行语句将报错。 示例 -- 删除原生/管控表
storage_path 指定目录的完整FS绝对路径 space_consumed 返回文件/目录在集群中占用的实际空间，即它考虑了为集群设置的复制因子 quota 名称配额（名称配额是对当前目录树中的文件和目录名称数量的硬性限制） space_quota 空间配额（空间配额是对
测程序所需配置文件。 登录FusionInsight Manager，选择“集群 > 概览 > 更多 > 下载客户端”，“选择客户端类型”设置为“仅配置文件”，根据待安装客户端节点的节点类型选择正确的平台类型后（x86选择x86_64，ARM选择aarch64）单击“确定”，等待
(orc_table_property = value [, ...] ) ] 限制 session属性可以设置bucket_count，默认值为-1，表示未设置。创建分区表时，如果bucket_count为-1且建表语句中未设置buckets，则使用默认值16。 默认外部表存储位置/user/hive/wa
<checkPointDir>为checkPoint目录。 * <topics>为Kafka中订阅的主题，多以逗号分隔。 * <brokers>为获取元数据的Kafka地址。 */ object DstreamKafkaWriterTest1 { def main(args: Array[String])
FS数据的高可靠； 对于确定存在单副本诉求的文件也可通过dfs.single.replication.exclude.pattern配置项设置单副本的数据文件和目录。 MRS 1.9.2.3补丁安装完成之后，需要重启OMS服务。如果集群之前安装了1.9.2.2补丁，不需要做此操作。
<tablename> 注意事项 批量更新会把满足条件的行对应的字段值替换为要更新的值。 如果要更新的字段上建有索引，批量更新是不允许的。 如果不设置执行结果输出文件，默认是（/tmp/updatedata/表名）。 父主题： 增强HBase BulkLoad工具数据迁移能力
as parquet TBLPROPERTIES("parquet.compression"="zstd"); 其他格式或通用格式建表可执行设置参数指定compress,codec为“org.apache.hadoop.io.compress.ZStandardCode”： set
避免嵌套结构。 Key尽量不要使用String。 开发Spark应用程序时，建议序列化RDD。 RDD做cache时默认是不序列化数据的，可以通过设置存储级别来序列化RDD减小内存。例如： testRDD.persist(StorageLevel.MEMORY_ONLY_SER) 父主题：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
