检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建跨源成功但测试网络连通性失败怎么办? 问题描述 创建跨源并绑定新创建的DLI队列,测试跨源的网络连通性时失败,有如下报错信息: failed to connect to specified address 排查思路 以下排查思路根据原因的出现概率进行排序,建议您从高频率原因往
因为继承的权限已经足够使用,重复授权还可能导致表权限管理上的混乱。 在控制台操作表权限时: 如果“用户授权”赋予表的权限与继承权限相同,系统会提示已有该权限无需重复操作。 通过“项目授权”赋予的权限与继承权限相同时,系统不再向您提醒重复的权限信息。 父主题: DLI权限管理类
user. userName:xxxx.”错误。 解决方案 以上问题可能是由于系统未能识别新用户信息。 请按以下步骤进行排查: 请先确认下当前用户名是否存在。 如该用户存在,请重新登录管理控制台,系统才能对该用户进行授权操作。 父主题: Flink作业咨询类
监控安全风险 云监控服务为用户的云上资源提供了立体化监控平台。通过云监控您可以全面了解云上的资源使用情况、业务的运行状况,并及时收到异常告警做出反应,保证业务顺畅运行。 DLI服务提供基于云监控服务CES的资源监控能力 DLI已对接云监控服务,提供基于云监控服务的资源监控能力,帮
OPTIONS (PATH 'obs://dli-demo/detail-records/'); 使用该案例时,需将上述SQL语句中的文件路径修改为实际存放详单数据的OBS路径。 单击“执行”,创建详单表detail_records,请参见图3。 图3 创建详单表 执行以下SQL
子作业跳过的task个数,对应开源spark JobData的numSkippedTasks。 num_failed_tasks 否 Integer 子作业跳失败的task个数,对应开源spark JobData的numFailedTasks。 num_killed_tasks 否 Integer 子作业
<column_constraint> ] [COMMENT column_comment] <column_constraint>: [CONSTRAINT constraint_name] PRIMARY KEY NOT ENFORCED <table_constraint>: [CONSTRAINT
以参考使用Hive语法创建OBS表。 回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下: 在OBS服务控制台页面左侧选择“并行文件系统”,单击对应的文件系统名称。 在“基础配置”下单击“生命周期规则”,创建或者编辑生命周期规则。 图1
资源合理的分配和使用,避免资源过度集中和资源浪费。 如果资源配额限制满足不了用户的使用需求,可以通过工单系统来提交您的申请,并告知您申请提高配额的理由。 在通过审理之后,系统会更新您的配额并进行通知。关于配额的具体操作说明,请参见关于配额。 父主题: DLI资源配额类
<column_constraint> ] [COMMENT column_comment] <column_constraint>: [CONSTRAINT constraint_name] PRIMARY KEY NOT ENFORCED <table_constraint>: [CONSTRAINT
指定文件类型。包括以下文件类型: jar:用户jar文件。 pyFile:用户python文件。 file:用户文件。 modelFile:用户AI模型文件。 tags 否 String 指定标签过滤。 请求消息 无请求参数。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型
参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息为空。 id 否 String 连接ID,用于标识跨源连接的UUID。 name 否 String 创建连接时,用户自定义的连接名称。
sasl.mechanism' = 'GSSAPI或者PLAIN'、 'properties.sasl.jaas.config' = 'org.apache.kafka.common.security.plain.PlainLoginModule required username=\"xxx\"
用。 作用范围:项目级服务。 系统角色 无 表2列出了DLI SQL常用操作与系统权限的授权关系,您可以参照该表选择合适的系统策略。 更多SQL语法赋权请参考《数据湖探索SQL语法参考》> 《数据控制》>《权限列表》章节。 表2 DLI常用操作与系统权限的关系 资源 操作 说明 DLI
对象存储OBS结果表 功能描述 FileSystem sink用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的,每个桶中的数据被组织成有限大小的Part文件。完全可以
参数名称 参数类型 说明 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,该值为空。 job_id String 作业ID。可通过提交SQL作业(推荐)获取。 job_type String
阅,选择不同方式(例如短信或者邮件等)进行订阅。订阅成功后,如果作业失败,则系统将会自动发送消息到您指定的订阅终端。 如果作业提交1分钟内立即失败,通常不会触发消息通知。 如果作业提交1分钟后失败,则系统将会自动发送消息到您指定的订阅终端。 操作步骤 在“资源管理 > 队列管理”页面,单击左上角“创建消息通知主题”。
entrypoint 否 String 用户已上传到DLI资源管理系统的程序包名,用户自定义作业主类所在的jar包。 dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名,用户自定义作业的其他依赖包。 示例“myGroup/test
仅提供开源connector。 开发与运维 监控、告警 支持对接华为云CES监控平台,支持对接华为云SMN告警系统,用户可通过邮件、短信、电话、第三方办公工具(webhook模式) 支持对接企业内部统一监控告警系统(prometheus)。 支持Flink作业速率、输入输出数据量、作业算子反压值、算子延迟、作业cpu和内存使用率查看。
FileSystem结果表 功能描述 FileSystem sink用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的,每个桶中的数据被组织成有限大小的Part文件。完