检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
增强型跨源连接与弹性资源池解绑 操作场景 当弹性资源池不需要使用增强型跨源连接访问数据源时,可将增强型跨源连接与弹性资源池解绑。 约束限制 增强型跨源绑定弹性资源池所创建的对等连接状态为“已失败”时,不支持解绑该弹性资源池。 操作步骤 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理
RENAME COLUMN 功能开启 配置参数: hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... RENAME COLUMN语法用于修改列名称。 命令语法 ALTER TABLE tableName RENAME COLUMN
conf','keytab'='./user.keytab','principal'='krbtest') "); 与未开启kerberos认证相比,开启了kerberos认证需要多设置三个参数,如表1所示。 表1 参数说明 参数名称与参数值 参数说明 'krb5conf' =
Spark作业的实际资源使用情况 查看Spark作业原始资源配置 登录DLI 控制台,单击左侧“作业管理”>“Spark作业”,在作业列表中找到需要查看的Spark作业,单击“作业ID”前的,即可查看对应Spark作业的原始资源配置参数。 在创建Spark作业时,配置了“高级配置”中的参数,此处才会显示对应的
查看多版本备份数据 功能描述 在DLI数据多版本功能开启后,您可以通过SHOW HISTORY命令查看表的备份数据。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。
ALTER COLUMN 功能开启 配置参数: hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... ALTER COLUMN语法用于修改当前列属性包括列类型、列位置、列comment。 命令语法 ALTER TABLE
仅在选择“包年/包月”计费模式,或在“按需计费”模式中,勾选“专属资源模式”时,支持配置“高级配置”。 在“队列类型”中,勾选了“专属资源模式”后,需要选择“高级选项”。 默认配置:由系统自动配置。 自定义配置: “网段”:支持指定使用的网段范围。如需使用DLI增强型跨源,DLI队列网段与数据源网段不能重合。
完全可以配置为基于时间的方式往桶中写入数据,比如可以设置每个小时的数据写入一个新桶中。即桶中将包含一个小时间隔内接收到的记录。 桶目录中的数据被拆分成多个Part文件。对于相应的接收数据的桶的Sink的每个Subtask,每个桶将至少包含一个Part文件。将根据配置的滚动策略来创建其他Part文件。对于Row
恢复多版本备份数据 功能描述 在DLI数据多版本功能开启后,您可以通过RESTORE TABLE命令恢复表或分区数据到指定版本。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。
krb5conf 开启Kerberos认证后的krb5.conf文件路径,格式为'./krb5.conf'。具体详情参考开启Kerberos认证时的相关配置文件。 keytab 开启Kerberos认证后的keytab文件路径,格式为'./user.keytab'。具体详情参考开启Kerberos认证时的相关配置文件。
'keytab'='./user.keytab',\ 'principal' ='krbtest')") 与未开启kerberos认证相比,开启了kerberos认证需要多设置三个参数,如表1所示。 表1 参数说明 参数名称与参数值 参数说明 'krb5conf' =
Object batch配置项,参考Spark Configuration。 name 否 String 创建时用户指定的批处理名称,不能超过128个字符。 driverMemory 否 String Spark应用的Driver内存,参数配置例如2G, 2048M。该配置项会替换“sc_
TABLE所需权限列表 权限描述 表的ALTER权限 细粒度权限:dli:table:alter。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 ALTER TABLE table1 RENAME TO table2 系统响应 通过运行SHOW
完全可以配置为基于时间的方式往桶中写入数据,比如可以设置每个小时的数据写入一个新桶中。即桶中将包含一个小时间隔内接收到的记录。 桶目录中的数据被拆分成多个Part文件。对于相应的接收数据的桶的Sink的每个Subtask,每个桶将至少包含一个Part文件。将根据配置的滚动策略来创建其他Part文件。对于Row
TABLES参数描述 参数 描述 IN db_name Database名称,仅当需要显示指定Database的所有Table时配置。 注意事项 IN db_Name为可选配置。 示例 SHOW TABLES IN hudidb; 权限需求 由DLI提供的元数据服务 SQL权限: database
并行文件系统的详细介绍和使用说明,请参见《并行文件系统特性指南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面,选择“DLI作业桶”,单击配置桶信息。 图1 工程配置 单击打开桶列表。 选择用于存放DLI作业临时数据的桶,并单击“确定”。
并行文件系统的详细介绍和使用说明,请参见《并行文件系统特性指南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面,选择“DLI作业桶”,单击配置桶信息。 图1 工程配置 单击打开桶列表。 选择用于存放DLI作业临时数据的桶,并单击“确定”。
并行文件系统的详细介绍和使用说明,请参见《并行文件系统特性指南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面,选择“DLI作业桶”,单击配置桶信息。 图1 工程配置 单击打开桶列表。 选择用于存放DLI作业临时数据的桶,并单击“确定”。
统将自动为您的作业添加以下配置: flink.dli.job.agency.name=agency 委托权限示例请参考创建DLI自定义委托权限和常见场景的委托权限策略。 - 开启checkpoint 勾选开启checkpoint。 开启 自定义参数 配置Flink作业访问的元数据类型。
> ”SQL作业”跳转到SQL作业记录中检查。 在执行SQL的时候配置Hudi参数: DLI不支持直接使用SET语句配置参数 点击”设置”,随后在”参数设置”一栏可以配置键和值,Hudi的参数可以通过此处提交。配置在此处的参数会在提交SQL作业时被应用。 随后可以在左侧菜单点击”