检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
列或者修改分区表时，也可以设置表属性“dli.multi.version.retention.days”调整保留周期。 开启和关闭多版本功能SQL语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表SQL语法可以参考使用Hive语法创建OBS表。
hoodie目录下的文件数量超过10000就会发现Hudi表有非常明显的读写时延。 规则 Hudi表必须执行Archive。 对于Hudi的MOR类型和COW类型的表，都需要开启Archive。 Hudi表在写入数据时会自动判断是否需要执行Archive，因为Archive的开关默认打开(hoodie.archive
条件。更多信息参考文件系统 SQL 连接器 在STREAMING模式下使用FileSink需要开启Checkpoint功能。Part文件只在Checkpoint成功时生成。如果没有开启Checkpoint功能，文件将永远停留在in-progress或者pending的状态，并且下游系统将不能安全读取该文件数据。
Hudi锁配置说明 提交Spark jar作业时需要手动配置Hudi锁。 当使用DLI托管的元数据服务时，必须配置Hudi锁开启，且配置使用DLI提供的Hudi锁实现类： 配置项 配置值 hoodie.write.lock.provider com.huawei.luxor.hudi
option("es.net.ssl", "true") 如果CSS安全集群开启了HTTPS访问，此处需要设置为“true”，并且需要继续设置后面的安全证书、文件地址等参数。 如果CSS安全集群未开启HTTPS访问，此处需要设置为“false”，则不需要设置后面安全证书、文件地址等参数。
job_config参数说明 参数名称 是否必选 参数类型 说明 checkpoint_enabled 否 Boolean 是否开启作业自动快照功能。 true：开启 false：关闭 默认为“false”。 checkpoint_interval 否 Integer 快照时间间隔。 单位为秒，默认值为“10”。
TBLPROPERTIES("dli.lifecycle.days"='50'); 示例2：对已存在且未设置生命周期的分区表或非分区表开启表的生命周期,开启test_lifecycle_exists表生命周期，并将生命周期设为50天。 alter table test_lifecycle_exists
在DLI使用Hudi提交Spark SQL作业 登录DLI管理控制台，选择“SQL编辑器”首进入提交SQL作业的界面。提交SQL作业时需要选择支持Hudi的Spark SQL队列。 创建一张Hudi表： 将如下的建表语句粘贴至DLI SQL编辑器的输入区域，修改 LOCATION
但可以节省Hudi表List过程的时间，也可以缓解存储压力。 规则 Hudi表必须执行Clean。 对于Hudi的MOR、COW表，都需要开启Clean。 Hudi表在写入数据时会自动判断是否需要执行Clean，因为Clean的开关默认打开(hoodie.clean.automatic默认为true)。
conf','keytab'='./user.keytab','principal'='krbtest') "); 与未开启kerberos认证相比，开启了kerberos认证需要多设置三个参数，如表1所示。 表1 参数说明 参数名称与参数值 参数说明 'krb5conf' =
async.enabled 否 false Boolean 是否开启在线压缩。 true：开启 false：关闭 建议关闭在线压缩，提升性能。但是调度compaction.schedule.enabled仍然建议开启，之后可通过离线异步压缩，执行阶段性生成的压缩plan。 clean
PARTITION partition_specs SET LOCATION obs_path; 关键字 PARTITION：分区。 LOCATION：分区路径。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path
默认情况下，文件系统连接器是有界的，也就是只会扫描配置路径一遍后就会停止。 如果需要，可以通过设置 source.monitor-interval 属性来开启目录监控，以便在新文件出现时继续扫描。 键 默认值 类型 描述 source.monitor-interval 无 Duration 设置新文件的监控时间间隔，并且必须设置
操作步骤。 操作须知 已创建CSS安全集群，且集群满足以下条件： CSS集群版本选择“6.5.4”或“6.5.4”以上版本。 CSS集群已开启“安全模式”。 创建CSS安全集群请参考创建Elasticsearch类型集群（安全模式）。 操作步骤 下载CSS安全集群的认证凭证。 登
本章节以通过自定义作业与MRS进行交互为例进行说明。 更多样例代码请通过DLI样例代码获取。 环境准备 登录MRS管理控制台，创建MRS集群，选择“开启kerberos”，勾选“Kafka”, “HBase”, “HDFS”等。请参见《MapReduce服务用户指南》的“购买自定义集群”的章节创建MRS。
该参数建议勾选，否则作业运行完成后不会生成运行日志，后续如果作业运行异常则无法获取运行日志进行定位。 开启Checkpoint Checkpoint用于定期保存作业状态，开启Checkpoint可以在系统故障时快速恢复指定的作业状态。 DLI开启Checkpoint有两种方式： 在作业代码中配置Checkpoint相关参数，适用于Flink
DLI系统采用存算分离的架构，计算集群基于K8s资源调度和故障切换机制，在系统故障时，支持自动故障恢复。 作业级故障恢复 Flink、Spark作业支持配置自动重启恢复机制，在开启自动重启功能后，当作业出现异常时将自动重启恢复作业。 父主题： 安全
apigateway WHERE service_id = 'ecs' Group BY http_method 或者 SELECT http_method FROM apigateway WHERE service_id = 'ecs' DISTRIBUTE BY http_method
partition_specs RENAME TO PARTITION partition_specs; 关键字 PARTITION：分区。 RENAME：重命名。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 注意事项
ordersSource; 示例6：将Kafka（MRS集群）作为源表，Print作为结果表（适用于Kafka已开启SSL场景，MRS未开启Kerberos认证。） MRS集群请不要开启Kerberos认证。 登录MRS集群的Manager，下载用户凭据：“系统设置 > 用户管理”。 单击用户名后的“更多
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
