检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
able1` SHALLOW CLONE delta_table0 VERSION AS OF 10; 系统响应 可在执行历史或作业列表中查看任务运行成功或失败。 父主题: Delta DDL语法说明
OBS桶需要由用户主账户统一设置及修改,子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改,否则可能会造成历史数据无法查找。 操作步骤 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。
相似函数:regexp_replace,regexp_replace函数针对不同的Spark版本,功能略有差异,请参考regexp_replace查看详细的功能说明。 命令格式 regexp_replace1(string <source>, string <pattern>, string
在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签,用户需要预先在标签管理服务中创建好预定义标签,然后在“标签键”的下拉框中进行选择。用户可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签”页面,然后单击“创建标签”来创建新的预定义标签。 具体请参见《标签管理服务用户指南》中的“创建预定义标签”章节。
用户登录并验证权限 使用新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择数据湖探索,进入DLI主界面。如果在“队列管理”页面可以查看队列列表,但是单击右上角“购买队列”,无法购买DLI队列(假设当前权限仅包含DLI ReadOnlyAccess),表示“DLI ReadOnlyAccess”已生效。
16:10:06","user_id":"0001","user_name":"Alice","area_id":"330106"} 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名
扩缩容队列 GRANT_PRIVILEGE 队列的赋权 REVOKE_PRIVILEGE 队列权限的回收 SHOW_PRIVILEGES 查看其他用户具备的队列权限 database的格式为:databases.db_name database支持的Privilege权限类型可参见数据权限列表。
在委托设置页面,勾选基础使用、跨源场景、运维场景的委托权限后,单击“更新委托权限”。 查看并了解更新委托的提示信息,单击“确定”。完成DLI委托权限的更新。 图1 配置DLI委托访问授权 完成配置后,在IAM控制台的委托列表中,可查看到dli_management_agency的委托信息。 步骤1:开发Jar包并上传数据至OBS
在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签,用户需要预先在标签管理服务中创建好预定义标签,然后在“标签键”的下拉框中进行选择。用户可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签”页面,然后单击“创建标签”来创建新的预定义标签。 具体请参见《标签管理服务用户指南》中的“创建预定义标签”章节。
存储费用。 存储套餐的额度每个小时会重置。 判断套餐包额度是否超出 如果当月使用量超出已购买套餐包的额度,超出部分将自动转为按需计费。怎样查看套餐包资源的使用情况? 如果套餐包额度已超出,产生按需计费为正常现象;如果套餐包额度未超出,请继续排查判断是否产生了套餐包未涵盖的计费项。
在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签,用户需要预先在标签管理服务中创建好预定义标签,然后在“标签键”的下拉框中进行选择。用户可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签”页面,然后单击“创建标签”来创建新的预定义标签。 具体请参见《标签管理服务用户指南》中的“创建预定义标签”章节。
在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签,用户需要预先在标签管理服务中创建好预定义标签,然后在“标签键”的下拉框中进行选择。用户可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签”页面,然后单击“创建标签”来创建新的预定义标签。 具体请参见《标签管理服务用户指南》中的“创建预定义标签”章节。
将str按照charset格式进行编码。 find_in_set find_in_set(string <str1>, string <str2>) BIGINT 查找字符串str1在以逗号(,)分隔的字符串str2中的位置,从1开始计数。 get_json_object get_json_object(string
定义了何时关闭给定的In-progress Part文件,并将其转换为Pending状态,然后再转换为Finished状态。 Finished状态的文件,可供查看并且可以保证数据的有效性,在出现故障时不会恢复。 在 STREAMING模式下,滚动策略结合Checkpoint间隔(到下一个Checkp
定义了何时关闭给定的In-progress Part文件,并将其转换为Pending状态,然后再转换为Finished状态。 Finished状态的文件,可供查看并且可以保证数据的有效性,在出现故障时不会恢复。 在 STREAMING模式下,滚动策略结合Checkpoint间隔(到下一个Checkp
“创建作业”:直接在该模板下创建作业,创建完后,系统跳转到“作业管理”下的作业编辑页面。 更多: “删除”:将已经创建的模板删除。 “标签”:查看或添加标签。 新建模板 创建作业模板,有以下四种方法。 进入“作业模板”页面新建模板。 在DLI管理控制台的左侧导航栏中,单击“作业模板”>“Flink模板”。
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 数据类型的使用,请参考Format章节。 Upsert Kafka始终以upsert方式工作,并且需要在 DDL 中定义主键。
agency) 在DLI控制台左侧导航栏中单击“全局配置 > 服务授权”。 在委托设置页面,按需选择以下场景的权限。 单击权限卡片上的可以查看包含的详细的权限策略。 委托说明如表1所示。 表1 dli_management_agency委托包含的权限 适用场景 委托名 权限说明 基础使用
NOT EXISTS table_name (id STRING) USING parquet; 2. 执行show create table查看TBLPROPERTIES下的"verison"字段的值 "v1"为V1表;"v2"则为V2表。 如需修改V1表为V2表请提交工单联系客户支持获取操作帮助。
进入Spark作业编辑页面,页面会提示系统将创建DLI临时数据桶。该桶用于存储使用DLI服务产生的临时数据,例如:作业日志、作业结果等。如果不创建该桶,将无法查看作业日志。可以通过配置生命周期规则实现定时删除OBS桶中的对象或者定时转换对象的存储类别。桶名称为系统默认。 如果不需要创建DLI临时数据