检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
15及以上版本的跨源访问场景 推荐使用数据加密服务DEW来存储数据源的认证信息,为您解决数据安全、密钥安全、密钥管理复杂等问题。 具体操作请参考使用DEW管理数据源访问凭证。 使用DEW管理数据源访问凭证时,您还需要创建DLI云服务委托授予DLI访问其他服务(DEW)读取访问凭证。 SQL作业、Flink
通过以下方式可获取AK/SK,项目ID及对应的region信息。 登录管理控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 在左侧导航栏中选择“访问密钥”,单击“新增访问密钥”。根据提示输入对应信息,单击“确定”。 在弹出的提示页面单击“立即下载”。下载成功后,打开凭证文件,获取AK/SK信息。
Flink作业具有高可用保障能力,通过设置“异常自动重启”功能,可在周边服务短时故障恢复后自动重启。 操作步骤 登录DLI控制台,选择“作业管理”>“Flink作业”。 在Flink作业编辑页面,勾选“异常自动重启”。例如,图1所示。 图1 Flink SQL作业编辑界面 父主题: Flink作业咨询类
使用DEW获取访问凭证读写OBS示例请参考Flink Jar 使用DEW获取访问凭证读写OBS 步骤4:创建自定义委托允许DLI访问DEW读取凭证 登录管理控制台。 单击右上方登录的用户名,在下拉列表中选择“统一身份认证”。 在左侧导航栏中,单击“委托”。 在“委托”页面,单击“创建委托”。
已知存在某DLI表,但在DLI页面查询不到该表。 问题根因 已有表但是查询不到时,大概率是因为当前登录的用户没有对该表的查询和操作权限。 解决措施 联系创建该表的用户,让该用户给需要操作该表的其他用户赋予查询和操作的权限。赋权操作如下: 使用创建表的用户账号登录到DLI管理控制台,选择“数据管理
增强型跨源连接与弹性资源池解绑 操作场景 当弹性资源池不需要使用增强型跨源连接访问数据源时,可将增强型跨源连接与弹性资源池解绑。 约束限制 增强型跨源绑定弹性资源池所创建的对等连接状态为“已失败”时,不支持解绑该弹性资源池。 操作步骤 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理
通过以下方式可获取AK/SK,项目ID及对应的region信息。 登录管理控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 在左侧导航栏中选择“访问密钥”,单击“新增访问密钥”。根据提示输入对应信息,单击“确定”。 在弹出的提示页面单击“立即下载”。下载成功后,打开凭证文件,获取AK/SK信息。
DLI允许用户提交编译为Jar包的Flink作业,提供了更高的灵活性和自定义能力,适合需要进行复杂数据处理的场景。 当社区版Flink提供的Connector不能满足特定需求时,用户可以通过Jar作业来实现自定义的Connector或数据处理逻辑。 适合需要实现UDF(用户定义函数
步骤5:创建DLI连接Kafka的增强型跨源连接 通过增强型跨源连接建立DLI弹性资源池与Kafka实例的网络连通。 步骤6:创建DLI连接RDS的增强型跨源连接 通过增强型跨源连接建立DLI弹性资源池与RDS实例的网络连通。 步骤7:使用DEW管理访问凭据,并配置允许DLI访问DEW的委托
nt_agency委托,否则会导致委托包含的权限自动取消,系统将无法正常获取IAM用户相关信息、或影响访问跨源所需的网络资源、无法访问SMN服务发送通知消息。 约束限制 服务授权需要主账号或者用户组admin中的子账号进行操作。 DLI服务授权需要区分项目,请在每个需要新委托的项
列的网段信息。 在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”>“数据库端口”,获取RDS数据库实例端口。 单击“连接信息”>“安全组”对应的安全组名称,跳转到RDS实例安全组管理界面。单击“入方向规则 > 添加规则”,优先级设置为“1”,协议选择“TCP”,
OpenSource SQL作业,访问其他外部数据源时,需要先创建跨源连接,打通作业运行队列到外部数据源之间的网络。 当前Flink作业支持访问的外部数据源详情请参考DLI常用跨源分析开发方式。 创建跨源连接操作请参见配置DLI与数据源网络连通(增强型跨源连接)。 创建完跨源连接后,可以通过“资源管理
lGC。 登录DLI控制台,单击“作业管理 > SQL作业”。 在SQL作业页面,在对应作业所在行,单击按钮,查看作业详情,获取作业ID。 图6 获取作业ID 在对应作业的“操作”列,单击“Spark UI”,进入“Spark UI”页面。 在“Spark UI”页面,在上方菜单
或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互,首次使用DLI需要用户配置委托授权,允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台,在左侧导航栏单击“全局配置 > 服务授权”。 在委托设置页面,勾选基础使用、跨源场景、运维
行修改,来实现实际的作业逻辑需求,节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板,但支持用户自定义Spark作业模板,本节操作介绍在Spark管理页面创建Spark模板的操作方法。 新建Spark作业模板 Spark作业模板的创建方法是在创建Spark作业时,可直接将配置完成的作业信息设置为模板。
如果您正在使用DLI经典型跨源连接的功能,请尽快更换使用增强型跨源连接。 否则使用经典型跨源连接操作过程中出现的错误,不再提供该功能的任何技术服务支持。 DLI经典型跨源连接停止服务后,可以使用哪个功能替换? 推荐使用增强型跨源连接。 DLI提供的增强型跨源连接功能,通过建立对等连接,实现DLI与
并提交SQL作业的基本流程: 操作步骤 登录DLI管理控制台。 在DLI管理控制台,选择“作业模板 > SQL模板”。 在“tpchQuery”下找到适合您业务场景的样例模板,单击操作列的“执行”进入SQL编辑器页面。 在SQL编辑器页面右侧的编辑窗口上方,“执行引擎”选择“sp
增强型跨源连接标签管理 操作场景 标签是用户自定义的、用于标识云资源的键值对,它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 如果用户在其他云服务中使用了标签,建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 如您的组织已经设定DLI
Prometheus实例 登录AOM 2.0管理控制台。 在左侧导航栏选择“Prometheus监控 > 实例列表”,然后单击“创建Prometheus实例”。 设置实例名称、企业项目和实例类型信息。 表1 配置Prometheus实例 参数名称 说明 实例名称 Prometheus实例的名称。
如果创建程序包时选择了分组,可选择修改“组”的所有者或者“程序包”的所有者。 如果创建程序包时没有选择分组,则不显示该参数。 用户名 程序包所有者的名称。 说明: 该用户名称是已存在的IAM用户名称。 单击“确定”修改完成。 父主题: 管理Jar作业程序包