检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置DLI云服务的委托权限后会在IAM委托页面生成dli_management_agency的委托。
单击页面右上角“创建模板”,弹出“创建模板”页面。 输入“名称”和“描述”。 图1 新建Flink模板 表4 模板配置信息 参数 参数说明 类型 模板类型。
在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。 在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。 根据实际需求编辑作业。
在SparkUI页面可查看Spark作业实时运行资源。 图2 SparkUI 在SparkUI页面还可以查看Spark作业原始资源配置(只对新集群开放)。 在SparkUI页面,单击“Environment”,可以查看Driver信息和Executor信息。
配置程序包组或程序包权限 在“程序包管理”页面,选择要授权的程序包组或程序包,单击“操作”列中的“权限管理”。 进入“用户权限信息”页面,单击页面右上角“授权”新增授权用户,并选择对应的权限。 如果创建程序包时选择了分组,则权限管理为对应程序包组的权限管理。
在购买页面开通自动续费 您可以在购买页面开通自动续费,如图1所示。 图1 自动续费配置 在续费管理页面开通自动续费 登录管理控制台。 单击“控制台”页面上方“费用与成本”,在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。
在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。 单击需要查看的作业名称,进入“作业详情”页面。 在“提交日志”页签,可以查看提交作业的过程信息。
在“程序包管理”页面,单击程序包“操作”列中的“权限管理”,进入“用户权限信息”页面。 在单击页面右上角“授权”可对用户进行程序包组/程序包授权,勾选“更新组”权限。 单击“确定”,完成授权。 父主题: DLI权限管理类
定时任务创建后,可以在“弹性扩缩容定时任务”页面查看当前队列的规格变化情况,以及计划最近一次的执行时间。 或者在“队列管理”页面,查看“规格”大小是否改变来判断是否扩缩容成功。
创建数据库 创建数据库的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面创建数据库。 在管理控制台左侧,单击“数据管理”>“库表管理”。 在库表管理页面右上角,单击“创建数据库”可创建数据库。 在“SQL编辑器”页面创建数据库。
弹性资源池队列管理 在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 选择要操作的弹性资源池,在“操作”列,单击“队列管理”,进入弹性资源池队列管理界面。 在队列管理界面会显示添加的所有队列列表信息。
INSERT INTO 命令功能 INSERT命令用于将SELECT查询结果加载到Hudi表中。 命令格式 INSERT INTO tableIndentifier select query; 参数描述 表1 INSERT INTO参数 参数 描述 tableIndentifier
图2 创建数据集 在“数据集类型”页面中,选择创建“SQL数据集”,请参见图3。 图3 创建SQL数据集 在“创建数据集”页面中,左侧“数据源”栏选择已添加的DLI数据源,请参见图4。
在DataArts Studio数据开发页面,选择左侧导航栏的“数据开发 > 脚本开发”。 单击“新建DLI SQL脚本”。 图5 新建DLI SQL脚本 在脚本编辑页面输入创建数据库和表的示例代码。
在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入“Flink作业”页面。 在“Flink作业”页面右上角单击“新建作业”,弹出“新建作业”对话框。 图1 新建Flink Jar作业 配置作业信息。
单击作业名称进入作业详情页面。 在作业详情页面单击“更多 > Prometheus监控”。 跳转至AOM仪表盘页面。 方式2:在AOM预置仪表中查看监控仪表盘 登录AOM 2.0管理控制台。 在左侧导航栏选择“仪表盘”。
在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。 单击需要查看的作业名称,进入“作业详情”页面。 单击“标签”页签,显示当前作业的标签信息。 图1 管理作业标签 单击“添加/编辑标签”,弹出“添加/编辑标签”对话框。
选择左侧导航栏的“总览”,单击页面右上角的“登录指令”,在弹出的页面中单击复制登录指令。 在安装容器引擎的虚拟机中执行上一步复制的登录指令。 创建容器镜像组织。如果已创建组织则本步骤可以忽略。 登录SWR管理控制台。 选择左侧导航栏的“组织管理”,单击页面右上角的“创建组织”。
使用HetuEngine on Hudi HetuEngine是高性能的交互式SQL分析及数据虚拟化引擎,它与大数据生态无缝融合,实现海量数据秒级交互式查询,并支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine对Hudi仅支持select操作
创建DLI连接DWS的增强型跨源连接 在DWS管理控制台,选择“集群管理”,单击已创建的DWS集群名称,进入到DWS的基本信息页面。