检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS桶 作业配置了OBS桶显示。当勾选“开启Checkpoint”和“保存作业日志”参数后,用于保存Checkpoint和作业运行日志。 保存作业日志 开启或关闭。 作业异常告警 开启或关闭。 SMN主题 作业配置的SMN主题名称。当作业勾选了“作业异常告警”参数时显示。
子用户使用DLI时,可以查看队列,但是不能查看Flink作业,可以通过在DLI中对子用户授权,或在IAM中对子用户授权: DLI授权管理 使用租户账号,或者作业owner账号,或有DLI Service Administrator权限的账号,登录DLI控制台。
控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。
控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。
控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。
在DLI管理控制台提交SQL语句读取binary类型的数据进行展示时,会对binary数据进行Base64转换。 示例 将表student中,name为Mike的数据记录查询出来,并根据字段score升序排序。
勾选“保存作业日志”,选择一个OBS桶。如果该桶未授权,需要单击“立即授权”进行授权。配置该参数,可以在作业异常失败后,将作业日志保存到用户的OBS桶下,方便用户定位故障原因。 图3 保存作业日志 勾选“作业异常告警”,选择1中创建的“SMN主题”。
其他可选参数保持默认即可,详细说明可参见配置DWS目的端参数。 单击“下一步”进入字段映射界面,CDM会自动匹配源端和目的端的数据表字段,需用户检查字段映射关系是否正确。 如果字段映射关系不正确,用户单击字段所在行选中后,按住鼠标左键可拖拽字段来调整映射关系。
典型场景示例:配置DLI与内网数据源的网络联通 背景信息 DLI与内网数据源的网络联通通常指的是华为云内部服务的场景,例如DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。
drop table css_table"); sparkSession.close(); } } CSS安全集群 准备工作 请参考CSS安全集群配置,准备工作的主要目的是为了生成keystore.jks文件和truststore.jks文件,并将其上传至OBS
在DLI管理控制台单击“数据管理 > 程序包管理”。 选择程序包,单击操作列的“更多 > 标签”,显示当前程序包组或程序包的标签信息。 单击“添加/编辑标签”,弹出“添加/编辑标签”对话框。 在“添加/编辑标签”对话框中配置标签参数。
社区求助 华为云社区是华为云用户的聚集地。这里有来自数据湖探索的技术牛人,为您解决技术难题。
在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。 在DLI管理控制台,单击“作业管理 > Flink作业”。 在作业管理页面,单击作业操作列的“编辑”,进入作业运行参数编辑页面。
登录DLI控制台,选择SQL编辑器,在SQL编辑器页面选择问题作业的队列和数据库。 执行以下语句,查看作业中表的文件数量。“表名”替换为具体问题作业中的表名称。
获取AK/SK操作步骤如下: 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上,在下拉列表中单击“我的凭证”。 在左侧导航栏单击“访问密钥”。 单击“新增访问密钥”,进入“新增访问密钥”页面。 根据提示输入对应信息,单击“确定”,在弹出的提示页面单击“立即下载”。
使用须知 要使用DLI Python SDK访问指定服务的 API ,您需要确认已在DLI管理控制台开通当前服务并完成服务授权。
使用须知 要使用DLI Java SDK 访问指定服务的 API ,您需要确认已在DLI控制台开通当前服务并完成服务授权。 Java SDK 支持 Java JDK 1.8 及其以上版本。关于Java开发环境的配置请参考Java SDK环境配置。
该API对应控制台的创建程序包功能。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。
登录管理控制台。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 单击“申请扩大配额”。 在“新建工单”页面,根据您的需求,填写相关参数。 其中,“问题描述”项请填写需要调整的内容和申请原因。 填写完毕后,勾选协议并单击“提交”。
DLI元数据可在数据湖探索管理控制台的“数据管理 > 库表管理”中查看。 Lakeformation元数据可在湖仓构建Lakeformation服务的管理控制台中查看。