检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 在弹性资源池管理界面,单击界面右上角的“购买弹性资源池”。 在“购买弹性资源池”界面,填写具体的弹性资源池参数。 本例在华东-上海二区域购买按需计费的弹性资源池。相关参数说明如表3所示。
发布区域:全部 使用DLI提交Spark Jar作业 OBS 2.0支持 DLI Flink作业 DLI Flink作业专为实时数据流处理设计,适用于低时延、需要快速响应的场景,支持与多种云服务跨源连通,形成丰富的流生态圈。适用于实时监控、在线分析等场景。
创建弹性资源池 在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 在弹性资源池管理界面,单击界面右上角的“购买弹性资源池”。 在“购买弹性资源池”界面,填写具体的弹性资源池参数,具体参数填写参考如下。
CU设置操作 在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 选择要操作的弹性资源池,在“操作”列,单击“更多 > CU设置”。 在“CU设置”界面,“CU范围”参数中,左边为最小CU,右边为最大CU,根据情况分别设置。单击“确定”完成设置操作。
在“数据湖探索管理控制台>SQL编辑器”页面,单击编辑窗口右上角“设置”,可配置参数。
cu_number 否 Integer 是在作业编辑页面配置的作业占用资源总CU数,需配置与实际占用资源一致,作业实际占用资源根据算子并行数按需申请。
请参考Format页面以获取更多详细信息和格式参数。 value.fields-include 否 ALL 枚举类型 可选值:[ALL, EXCEPT_KEY] 在解析消息体时,是否要包含消息键字段。
注意事项 请在Flink“作业编辑”页面选择“运行参数配置”,选择“开启Checkpoint”,否则会导致FileSystem结果表无法写入数据。
在数据库权限管理页面右上角单击“授权”。 在“授权”弹出框中,选择“用户授权”或“项目授权”,填写需要授权的用户名或选择需要授权的项目,选择相应的权限。具体权限说明请参考表1。
支持的格式: csv json avro 请参考Format页面以获取更多详细信息和格式参数。 value.fields-include 是 ALL String 控制哪些字段应该出现在值中。
登录DEW管理控制台 选择“凭据管理”,进入“凭据管理”页面。 单击“创建凭据”。配置凭据基本信息 DLI Flink jar作业编辑界面设置作业参数。
以RDS数据源为例:在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”>“内网地址”,即可获取RDS内网地址。查看“连接信息”>“数据库端口”,获取RDS数据库实例端口。 在DLI管理控制台,单击“资源管理 > 队列管理”。
在“程序包管理”页面,单击右上角的“创建程序包”。 在“创建程序包”对话框,配置以下参数。 包类型:选择“JAR”。 OBS路径:程序包所在的OBS路径。 分组设置和组名称根据情况选择设置,方便后续识别和管理程序包。 单击“确定”,完成创建程序包。
在“DLI SDK DOWNLOAD”页面,单击Kyuubi驱动包链接,下载对应版本的驱动包。 并将该驱动放在kyuubi根目录/externals/engines/jdbc。 确保插件用户组和权限与其他Jar保持一致。 执行以下命令修改Kyuubi配置文件。
在“DLI SDK DOWNLOAD”页面,单击Kyuubi驱动包链接,下载对应版本的驱动包。 并将该驱动放在kyuubi根目录/externals/engines/jdbc。 确保插件用户组和权限与其他Jar保持一致。 执行以下命令修改Kyuubi配置文件。
在“DLI SDK DOWNLOAD”页面,单击Kyuubi驱动包链接,下载对应版本的驱动包。 并将该驱动放在kyuubi根目录/externals/engines/jdbc。 确保插件用户组和权限与其他Jar保持一致。 执行以下命令修改Kyuubi配置文件。
在“DLI SDK DOWNLOAD”页面,单击Kyuubi驱动包链接,下载对应版本的驱动包。 并将该驱动放在kyuubi根目录/externals/engines/jdbc。 确保插件用户组和权限与其他Jar保持一致。 执行以下命令修改Kyuubi配置文件。
导出作业运行日志需要具有OBS桶的权限,请提前在“全局配置 > 工程配置”页面配置DLI作业桶。 default队列下运行的作业或者该作业为同步作业时不支持归档日志操作。 仅Spark作业支持使用自定义镜像。了解自定义镜像。
弹性资源池队列管理 在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 选择要操作的弹性资源池,在“操作”列,单击“队列管理”,进入弹性资源池队列管理界面。 在队列管理界面会显示添加的所有队列列表信息。
在MRS Manager上,选择“系统 > 权限 > 用户”,单击“添加用户”,在添加用户页面分别配置如下参数。 用户名:自定义的用户名。当前示例输入为:testuser2。 用户类型:当前选择为“人机”。 密码和确认密码:输入当前用户名对应的密码。