检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
spark.sql.dli.job.priority=x 登录DLI管理控制台。 单击“作业管理 > SQL作业”。 选择待配置的作业,单击操作列下的编辑。 在“ 设置 > 参数配置”中配置spark.sql.dli.job.priority参数。
用户可通过管理控制台或SQL语句创建数据库和表,其中SQL语句的操作方法请参见创建数据库、创建OBS表和创建DLI表等。本章节介绍在管理控制台创建数据库和表的操作步骤。 创建数据库和表时,有权限控制,需要对其他用户授权,其他用户才可查看该用户新建的数据库和表。
在DLI管理控制台,单击左侧导航栏中的“SQL编辑器”,可进入SQL作业“SQL编辑器”页面。 在“SQL编辑器”页面右侧的编辑窗口中,输入如下创建数据库的SQL语句,单击“执行”。阅读并同意隐私协议,单击“确定”。 若testdb数据库不存在,则创建数据库testdb。
在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。 单击需要查看的作业名称,进入“作业详情”页面。 单击“标签”页签,显示当前作业的标签信息。 图1 管理作业标签 单击“添加/编辑标签”,弹出“添加/编辑标签”对话框。
价格说明 计费说明 计费详情和样例 04 使用 您可以详细了解DLI管理控制台的功能,常用SQL语法。除此之外,还可以实时查看监控指标及审计日志,以便及时了解DLI的健康状态。
DLI 客户端工具下载 您可以在DLI管理控制台下载DLI客户端工具。 登录DLI管理控制台。 单击总览页右侧“常用链接”中的“SDK下载”。 在“DLI SDK DOWNLOAD”页面,单击“dli-clientkit-<version>”即可下载DLI客户端工具。
spark.dli.job.priority=x 登录DLI管理控制台。 单击“作业管理 > Spark作业”。 选择待配置的作业,单击操作列下的编辑。 在“Spark参数”中配置spark.dli.job.priority参数。
操作步骤 在管理控制台检查对应SQL作业详情中的“结果条数”是否正确。 检查发现读取的数据量是正确的。 图1 检查读取的数据量 确认客户验证数据量的方式是否正确。客户验证的方式如下: 通过OBS下载数据文件。 通过文本编辑器打开数据文件,发现数据量缺失。
支持统计SQL作业的CPU消耗 支持在控制台查看“CPU累计使用量”。 支持容器集群Spark日志跳转查看 需要在容器查看日志。 支持动态加载UDF(公测) 无需重启队列UDF即可生效。 Spark UI支持火焰图 Spark UI支持绘制火焰图。
登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
使用方式 DLI支持通过控制台方式创建队列和数据库标签,详情请参见队列标签管理。 父主题: 安全
登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
表1 续费相关的功能 功能 说明 手动续费 包年/包月的DLI资源从购买到被自动删除之前,您可以随时在DLI控制台为队列或弹性资源池续费,以延长资源的使用时间。 自动续费 开通自动续费后,DLI资源会在每次到期前自动续费,避免因忘记手动续费而导致资源被自动删除。
系统响应 Table创建成功,创建的Hudi表可以进入DLI控制台,在左侧菜单栏选择”数据管理”->”库表管理”,随后筛选数据库并点击名称,进入表列表查询。 父主题: Hudi DML语法说明
操作步骤 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理 > 增强型跨源 ”。 选择待添加路由的增强型跨源连接,并添加路由。 方法一: 选择待添加的增强型跨源连接,单击操作列的“路由信息”。 单击“添加路由”。 在添加路由的对话框中,填写路由信息。参数说明请参考表1。
在DLI管理控制台的左侧导航栏中,单击数据管理>“程序包管理”,然后点击创建,并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作业”,在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。
登录DEW管理控制台 选择“凭据管理”,进入“凭据管理”页面。 单击“创建凭据”。
到DLI管理控制台,左侧导航栏选择“作业管理 > Flink作业”,在对应的Flink作业所在行,操作列下单击“编辑”。 在“运行参数”下,查看“开启Checkpoint”参数是否开启。
解决方案 登录DLI管理控制台,选择“队列管理”,在队列管理界面查看是否有“SQL队列”类型的队列。 是,执行3。 否,执行2购买“SQL队列”类型的队列。