检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
location_path Delta表的存储位置,当前版本必须指定,且只支持obs路径,指定该路径Delta 表会创建为外表。
该桶用于存储使用DLI服务产生的临时数据,例如:作业日志等。 如果不创建该桶,将无法查看作业日志。桶名称为系统默认。 在OBS管理控制台页面通过配置桶的生命周期规则,可以实现定时删除OBS桶中的对象或者定时转换对象的存储类别。 具体操作请参考通过配置生命周期规则。
如果是,您可以在DLI管理控制台页面更改作业配置,选择其他未被占用的OBS桶用于DLI日志存储。 父主题: Spark作业运维类
先使用DataSource语法创建一个OBS分区表,分区列为external_data,数据存储在obs://bucketName/datapath路径下。
提升OBS committer小文件写性能 提升对象存储服务(OBS)在处理小文件写入时的性能,提高数据传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性,当shuffle文件不需要时清理Executor。
您可以通过“CREATE TABLE tb_avro STORED AS AVRO AS SELECT 1 AS colName”指定列名的方式解决该问题,或者将存储格式指定为除AVRO以外的其它格式。 父主题: SQL作业运维类
username:用户名 password:用户名密码 regionname:所属区域名称 project_id:项目ID 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
obs_path Obs路径,表示Delta表的存储位置。
如果单条数据非常大,在bulk存储设置的数据条数前提前到达了单次batch的总数据量上限,则停止存储数据,以batch.size.bytes为准,提交该批次的数据。 batch.size.bytes 单次batch的总数据量上限,默认为1mb。
命令格式 RUN ARCHIVELOG ON tableIdentifier; RUN ARCHIVELOG ON tablelocation; 参数描述 表1 参数描述 参数 描述 tableIdentifier Hudi表的名称 tablelocation Hudi表的存储路径
tablelocation Hudi表的存储路径 instant-time 执行show compaction命令可以看到instant-time 示例 schedule compaction on h1; show compaction on h1; run compaction
tbl_path Delta表在obs桶中的存储位置。 boolExpression 删除项的过滤条件 所需权限 SQL权限 表2 DELETE所需权限列表 权限描述 表的DELETE权限 细粒度权限:dli:table:delete。
在作业运行界面勾选“保存作业日志”,在“OBS桶”参数选择存储运行日志的OBS桶。单击“启动”重新运行作业。作业重新运行完成后再执行3及后续步骤。 在Flink作业列表单击对应作业名称,进入作业详情页面,选择“运行日志”页签。 单击OBS桶,获取对应作业的完整运行日志。
具体操作请参见《对象存储服务控制台指南》中的“创建桶”章节。 在OBS管理控制台左侧导航栏选择“对象存储”。 在页面右上角单击“创建桶”,配置桶参数。
username:用户名 password:用户名密码 regionname:所属区域名称 project_id:项目ID 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
提升OBS committer小文件写性能 提升对象存储服务(OBS)在处理小文件写入时的性能,提高数据传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性,当shuffle文件不需要时清理Executor。
obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表,如当手动在OBS上面添加分区目录时,再通过上述命令将该新增的分区信息刷新到元数据库中,通过“SHOW PARTITIONS table_name”命令查看新增的分区。
tbl_path Delta表在obs桶中的存储位置。 constraint_name 约束名称。 所需权限 SQL权限 表2 DROP CONSTRAINT所需权限列表 权限描述 表的ALTER权限 细粒度权限:dli:table:alter。
按需计费的数据存储仅在存储DLI表时计费,若不再使用这些资源且需停止计费,请删除相应资源。 按需计费的扫描量仅在使用default队列执行作业时候按扫描量计费,作业执行完成后停止计费。
testDB.testTable1 SET TBLPROPERTIES ('aaa' = 'bbb'); 支持 支持 添加或修改表注释 ALTER TABLE testDB.testTable1 SET TBLPROPERTIES ('comment' = 'test'); 支持 不支持 修改表的存储格式