检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
状态API,从而获取该异步操作API最终是否执行成功。 同时数据湖探索还提供多种编程语言的SDK供您使用,SDK的使用方法请参见华为云开发工具包(SDK)。 父主题: API使用前必读
使用Spark作业跨源访问数据源 概述 对接CSS 对接DWS 对接HBase 对接OpenTSDB 对接RDS 对接Redis 对接Mongo 父主题: Spark Jar作业开发指南
DEW解密凭据的权限,kms:dek:decrypt。 委托权限示例请参考自定义DLI委托权限和常见场景的委托权限策略。 仅支持Flink1.15版本使用DEW管理访问凭据,在创建作业时,请配置作业使用Flink1.15版本、且已在作业中配置允许DLI访问DEW的委托信息。 在DLI管理控制台新建“增强型跨源连接”配置DLI与数据源的网络连通。
仅支持Spark3.3.1(Spark通用队列场景)及以上版本使用DEW管理访问凭据,在创建作业时,请配置作业使用Spark3.3.1版本、且已在作业中配置允许DLI访问DEW的委托信息。 自定义委托及配置请参考自定义DLI委托权限。 使用该功能,所有涉及OBS的桶,都需要进行配置AKSK。
登录DLI管理控制台,单击“作业管理 > SQL作业”。 选择待查询的SQL作业,单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。 选择需要查看的日期,单击操作列的“ 下载”,下载SQL作业日志到本地。 图3 下载SQL作业日志 父主题: 使用DLI提交SQL作业
DLI作业桶用于存储DLI作业运行过程中产生的临时数据,例如:作业日志、作业结果。 本节操作指导您在DLI管理控制台配置DLI作业桶,并获取Spark作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途,避免出现作业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改,子用户无权限。
Flink OpenSource SQL作业开发 Flink Jar作业开发基础样例 使用Flink Jar写入数据到OBS开发指南 使用Flink Jar连接开启SASL_SSL认证的Kafka 使用Flink Jar读写DIS开发指南 Flink作业委托场景开发指导
查看Flink作业详情 设置Flink作业优先级 开启Flink作业动态扩缩容 查询Flink作业日志 Flink作业常用操作 父主题: 使用DLI提交Flink作业
超出套餐包额度的使用量怎么收费? 购买了套餐包时,按需使用过程中优先抵扣套餐包的额度,超过额度的使用量按照按需计费。 套餐包需结合重置周期使用,如重置周期为月,且按订购周期重置,即如果用户1月5日订购套餐包资源,之后每个月的5日同一时间重置套餐包资源。 父主题: 计费相关问题
查看赋权对象使用者权限信息 功能介绍 获取对象赋权用户的权限信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/authorization/privileges 参数说明: 表1 URI 参数 参数名称
本节内容介绍使用DLI的SQL编辑器创建并提交SQL作业。 使用须知 首次进入SQL编辑器,页面会提示设置DLI作业桶。该桶用于存储使用DLI服务产生的临时数据,例如:作业日志等。 如果不创建该桶,将无法查看作业日志。桶名称为系统默认。 在OBS管理控制台页面通过配置桶的生命周期规则,可以实现定时删除OBS桶中的对象或者定时转换对象的存储类别。
件的作业。 终止作业 在“Spark作业”页面,单击对应作业“操作”列中的“更多”>“终止作业”,可停止启动中和运行中的作业。 父主题: 使用DLI提交Spark作业
Jar写入数据到OBS开发指南 介绍将kafka数据处理后写入到OBS的操作样例。 使用Flink Jar连接开启SASL_SSL认证的Kafka 介绍使用Flink OpenSource SQL连接开启SASL_SSL认证的Kafka。 使用Flink Jar读写DIS开发指南 介绍Flink Jar作业读写DIS数据的操作方法。
说明 操作系统 Windows系统,支持Windows7以上版本。 安装JDK JDK使用1.8版本。 安装和配置IntelliJ IDEA IntelliJ IDEA为进行应用开发的工具,版本要求使用2019.1或其他兼容版本。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。
操作步骤 Flink作业动态扩缩容适用于Flink Opensource SQL作业和Flink Jar作业。 登录DLI管理控制台。 单击“作业管理 > Flink作业”。 选择要开启动态扩缩容的作业,单击操作列下的编辑。 Flink Opensource SQL作业单击“自定义配置”,配置动态扩缩容参数。
怎样查看套餐包资源的使用情况? 购买套餐包后,随着套餐包的使用您可以随时查看套餐包使用情况,了解套餐包详情。 操作步骤 登录华为云费用中心。 选择“资源包”。在“资源包列表”页签中单击目标资源包名称/ID,查看套餐包的详细信息。 图1 查看套餐包资源使用情况 父主题: 计费相关问题
见场景的委托权限策略。 仅支持Flink1.15版本使用DEW管理访问凭据,在创建作业时,请配置作业使用Flink1.15版本、且已在作业中配置允许DLI访问DEW的委托信息。自定义委托及配置请参考自定义DLI委托权限。 使用该功能,所有涉及OBS的桶,都需要进行配置AKSK。 语法格式
运行成功,可导出结果),已扫描数据,执行用户,结果状态(运行成功,可查看结果;运行失败,显示失败原因),数据库,CPU累计使用量,输出字节。 CPU累计使用量:作业执行过程的CPU消耗总和,单位:Core*ms 输出字节:作业执行完成后输出的字节数。 查找作业 在“SQL作业”页
想对Flink作业添加如项目名称、业务类别、背景信息等相关信息的标识,用户可以通过添加标签来实现。如果用户在其他云服务中使用了标签,建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 DLI支持以下两类标签: 资源标签:在DLI中创建的非全局的标签。 预定义标签
并且长度为1~57字节。 说明: 作业名称必须是唯一的。 描述 作业的相关描述,且长度为0~512字节。 标签 使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源,即所有服务均可在标签输入框下拉选择同一标签,建议在标签管理服务(TMS)中创建预定义标签。