检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Flink Jar对应的程序包主要参数说明 参数名称 说明 示例 包类型 支持的包类型如下: JAR:用户jar文件 PyFile:用户Python文件 File:用户文件 ModelFile:用户AI模型文件 JAR OBS路径 选择对应程序包的OBS路径。 说明: 程序包需提前上传至OBS服务中保存。
使用DLI提交Flink作业 Flink作业概述 创建Flink OpenSource SQL作业 创建Flink Jar作业 配置Flink作业权限 管理Flink作业 管理Flink作业模板 添加Flink作业标签
用实现高可靠性能的操作方法。 操作步骤 用户在消息通知服务(SMN)中提前创建一个“主题”,并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知,单击链接确认订阅即可。 图1 创建主题 图2 添加订阅 登录DLI控制台,创建Flink作业,编写作
使用DLI提交SQL作业 创建并提交SQL作业 导出SQL作业结果 配置SQL防御规则 设置SQL作业优先级 查询SQL作业日志 管理SQL作业 创建并管理SQL作业模板
该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS HBase,请在增
UI”页面。 在“Spark UI”页面,在上方菜单栏选择“SQL”。参考下图,根据作业ID,单击Description中的超链接。 图7 单击作业链接 查看对应作业的DAG图,判断是否有BroadcastNestedLoopJoin节点。 图8 作业的DAG图。 如果存在广播,
queue_cu_num 队列CU使用量 展示用户队列申请的CU数 ≥0 队列 5分钟 queue_job_launching_num 提交中作业数 展示用户队列中状态为提交中的作业数。 ≥0 队列 5分钟 queue_job_running_num 运行中作业数 展示用户队列中状态为运行中的作业数。
关于如何开通云审计服务以及如何查看追踪事件,请参考《云审计服务快速入门》中的相关章节。 关于云审计服务事件结构的关键字段详解,请参见《云审计服务用户指南》中的事件结构和事件样例。
使用DLI提交Spark作业 创建Spark作业 设置Spark作业优先级 查询Spark作业日志 管理Spark作业 管理Spark作业模板
使用AOM监控DLI服务 配置DLI对接AOM Prometheus监控 DLI对接AOM Prometheus监控的配置项 DLI支持的Prometheus基础监控指标
权限设置有3种场景:为新用户或项目赋予权限、为已有权限的用户或项目修改权限、回收某用户或项目具备的所有权限。 为新用户或项目赋予权限 为新用户或新项目赋予权限,新用户或新项目指之前不具备此数据库权限的用户或项目。 在数据库权限管理页面右上角单击“授权”。 在“授权”弹出框中,选择“用户授权”或“
通常您的业务系统可能使用了华为云的多种云服务,您可以为这些云服务下不同的资源实例分别设置标签,各服务的计费详单会体现这些资源实例设置的标签。如果您的业务系统是由多个不同的应用构成,为同一种应用拥有的资源实例设置统一的标签将很容易帮助您对不同的应用进行使用量分析和成本核算。 对DLI
作业语义检验时提示DIS通道不存在怎么处理? 处理方法如下: 登录到DIS管理控制台,在左侧菜单栏选择“通道管理”。检查Flink作业SQL语句中的DIS通道是否存在。 如果Flink作业中的DIS通道还未创建,请参见《数据接入服务用户指南》中“开通DIS通道”章节。 确保创建的DIS通道和Flink作业处于统一区域。
auth_info_name 是 String 指定更新的跨源认证名称。 user_name 否 String 用户安全集群的新登录用户名。 password 否 String 用户安全集群的新登录密码。 krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String
创建数据库和表 了解数据目录、数据库和表 在DLI控制台创建数据库和表 查看表元数据 在DLI控制台管理数据库资源 在DLI控制台管理表资源 创建并使用LakeFormation元数据
数据迁移与数据传输 数据迁移与传输方式概述 迁移外部数据源数据至DLI 配置DLI读写外部数据源数据
auth_info_name 是 String 指定更新的跨源认证名称。 user_name 否 String 用户安全集群的新登录用户名。 password 否 String 用户安全集群的新登录密码。 krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String
创建JDBC维表 创建JDBC表用于与输入流连接。 前提条件 请务必确保您的账户下已创建了相应实例。 语法格式 1 2 3 4 5 6 7 8 9 10 11 CREATE TABLE table_id ( attr_name attr_type ('
创建DWS维表 创建DWS表用于与输入流连接。 前提条件 请务必确保您的账户下已创建了所需的DWS实例。 语法格式 1 2 3 4 5 6 7 8 9 10 11 create table dwsSource ( attr_name attr_type
security_group_id 是 String 用户指定安全组ID,即为需要建立连接的服务所在的安全组。 network_id 是 String 对应服务的子网网络ID,即为需要建立连接的服务所在的子网。 url 是 String 对应服务对外提供的访问url。长度不能超过512个字符。获取方式请参考表4。