检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
select * from dataGenSource; 该作业提交后,作业状态变成“运行中”,后续您可通过如下操作查看输出结果。 方法一: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列,选择“更多 > FlinkUI”。 在FlinkUI界面,选择“Task
"https://www.example.com/v3/projects" } } 从控制台获取项目ID 从控制台获取项目ID的步骤如下: 登录管理控制台。 鼠标悬停在右上角的用户名,选择下拉列表中的“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID
select * from hudiSource; 该作业提交后,作业状态变成“运行中”,后续您可通过如下操作查看输出结果。 方法一: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列,选择“更多 > FlinkUI”。 在FlinkUI界面,选择“Task
在CDM界面创建迁移作业,配置DLI目的连接参数时,“资源队列”参数错误选成了DLI的“通用队列”,应该选择DLI的“SQL队列”。 解决方案 登录DLI管理控制台,选择“队列管理”,在队列管理界面查看是否有“SQL队列”类型的队列。 是,执行3。 否,执行2购买“SQL队列”类型的队列。
添加路由信息页的路由是弹性资源池子网关联的路由表中的路由。 数据源子网与弹性资源池所在子网为不同的子网,否则会造成网段冲突。 操作步骤 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理 > 增强型跨源 ”。 选择待添加路由的增强型跨源连接,并添加路由。 方法一: 选择待添
请确认包年/包月资源还未到期。 在购买页面开通自动续费 您可以在购买页面开通自动续费,如图1所示。 图1 自动续费配置 在续费管理页面开通自动续费 登录管理控制台。 单击“控制台”页面上方“费用与成本”,在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“自动续费项”页签查询已经开通自动续费的资源。
更多创建队列的操作步骤请参考创建弹性资源池并添加队列。 修改企业项目 针对之前已创建的集群,其绑定的企业项目可根据实际情况进行修改。 登录DLI管理控制台, 在左侧导航栏,选择“资源管理 > 弹性资源池”。 在弹性资源池资源列表中,选择待修改企业项目的资源,并单击操作列下“更多
单击下载链接,获取DLI Livy工具压缩包。 使用WinSCP工具,将获取的工具压缩包上传到准备好的ECS服务器目录下。 使用root用户登录ECS服务器,执行以下命令安装DLI Livy工具。 执行以下命令创建工具安装路径。 mkdir livy安装路径 例如新建路径/opt/livy:mkdir
select * from dataGenSource; 该作业提交后,作业状态变成“运行中”,后续您可通过如下操作查看输出结果。 方法一: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列,选择“更多 > FlinkUI”。 在FlinkUI界面,选择“Task
Flink 1.15 Jar 系统内置jar包清单,请在FLink作业的日志中获取Flink 1.15相关依赖包信息: 查看Flink日志。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击作业名称,选择“运行日志”。 控制台只展示最新的运行日志,更多日志信息请查看保存日志的OBS桶。
选择用于存放DLI作业临时数据的桶,并单击“确定”。 完成设置后DLI作业运行过程中产生的临时数据将会存储在该OBS桶中。 图2 设置DLI作业桶 查询SQL作业日志 登录DLI管理控制台,单击“作业管理 > SQL作业”。 选择待查询的SQL作业,单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。
步骤5:运行作业:DLI上创建和运行Flink OpenSource作业。 步骤6:发送数据和查询结果:Kafka上发送流数据,在CSS上查看运行结果。 步骤1:创建队列 登录DLI管理控制台,在左侧导航栏单击“资源管理 > 队列管理”,可进入队列管理页面。 在队列管理界面,单击界面右上角的“购买队列”。 在“购
Spark 3.3及以上版本: 仅支持在创建Spark作业时,配置“应用程序”,从OBS选择作业所需的Jar包。 登录OBS控制台,将生成的Jar包文件上传到OBS路径下。 登录DLI控制台,选择“作业管理 > Spark作业”。 单击操作列“编辑”。 编辑“应用程序”,选择1上传的OBS地址。
选择用于存放DLI作业临时数据的桶,并单击“确定”。 完成设置后DLI作业运行过程中产生的临时数据将会存储在该OBS桶中。 图2 设置DLI作业桶 查询Spark作业日志 登录DLI管理控制台,单击“作业管理 > Spark作业”。 选择待查询的Spark作业,单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。
待设置的参数说明如表1所示。 图1 队列权限授权 表1 参数说明 参数名称 描述 用户名 被授权的用户名称。 说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 权限设置 删除队列:删除此队列。 提交作业:向此队列提交作业。 终止作业:终止提交到此队列的作业。 赋权:当前用户可将队列的权限赋予其他用户。
并根据账单中资源ID查看资源名称。 根据资源名称在DLI云服务的控制台查找资源。 删除资源将资源停止计费。 详细操作步骤如下: 在费用中心账单中获取资源ID。 登录管理控制台,在顶部菜单栏中选择“费用与成本 > 费用账单”。 进入费用账单页面。 选择“流水和明细账单 > 明细账单”,复制资源ID。 根据资源ID查找资源名称。
待设置的参数说明如表1所示。 图1 弹性资源池权限授权 表1 参数说明 参数名称 描述 用户名 被授权的用户名称。 说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 权限设置 更新:当前用户可更新弹性资源池的描述信息。 资源管理:当前用户可在弹性资源池上添加队列、删除队列、操作队列的扩缩容策略配置。
辑,并提交运行才能生效。 操作步骤 Flink作业动态扩缩容适用于Flink Opensource SQL作业和Flink Jar作业。 登录DLI管理控制台。 单击“作业管理 > Flink作业”。 选择要开启动态扩缩容的作业,单击操作列下的编辑。 Flink Opensource
适用于当用户切换区域、项目或用户时,需要创建相同的作业,而作业比较多的情况。此时,不需要重新创建作业,只需要将原有的作业导出,再在新的区域、项目或者使用新的用户登录后,导入作业即可。 切换项目或用户时,需要对新项目或用户授权,具体请参考配置Flink作业权限。 在DLI管理控制台的左侧导航栏中,单击“
因此建议使用名称查询指定的资源ID后再查看账单。) 根据上报账单的资源ID在费用中心查看资源账单。 详细操作如下所述: 查询资源ID。 登录管理控制台,选择“大数据 > 数据湖探索 DLI”。 选择“资源管理 > 弹性资源池”,在资源列表中查看并记录资源名称。 在控制台顶部菜单栏中选择“资源