检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
怎样查看DLI的执行SQL记录? 场景概述 执行SQL作业过程中需要查看对应的记录。 操作步骤 登录DLI管理控制台。 在左侧导航栏单击“作业管理”>“SQL作业”进入SQL作业管理页面。 输入作业ID或者执行的语句可以筛选所要查看的作业。 父主题: SQL作业开发类
当OBS的目录下有同名文件夹和文件时,创建OBS表指向该路径会优先指向文件而非文件夹。 创建数据库和表时,有权限控制,需要对其他用户授权,其他用户才可查看该用户新建的数据库和表。具体请参考常用操作与系统权限关系。 创建数据库 创建数据库的入口有两个,分别在“数据管理”和“SQL编辑器”页面。
修改普通队列的网段 使用增强型跨源时,如果DLI队列的网段和用户数据源的网段发生冲突,您可以通过修改网段操作更改包年包月队列的网段。 如果待修改网段的队列中有正在提交或正在运行的作业,或者该队列已经绑定了增强型跨源,将不支持修改网段操作。 本节操作仅适用于普通队列,不适用于弹性资源池队列。
用户通过CTAS创建hive表报schema解析异常错误 目前DLI支持hive语法创建TEXTFILE、SEQUENCEFILE、RCFILE、ORC、AVRO、PARQUET文件类型的表。 如果用户CTAS建表指定的文件格式为AVRO类型,而且直接使用数字作为查询语句(SELECT)的输入,如“CREATE
手动续费 在云服务控制台续费 登录管理控制台。 单击左侧导航栏的图标,选择“大数据 > 数据湖探索 DLI”。 在队列或弹性资源池的列表页,选中待续费的包年/包月资源。 单击“操作”列下的“更多 > 续费”。 选择续费时长,判断是否勾选“统一到期日”,将到期时间统一到各个月的某一
导出数据的压缩方式,选择如下压缩方式。 none bzip2 deflate gzip 存储路径 输入或选择OBS路径。 导出路径必须为OBS桶中不存在的文件夹,即用户需在OBS目标路径后创建一个新文件夹。 文件夹名称不能包含下列特殊字符:\ / : * ? " < > |,并且不能以“.”开头和结尾。 导出方式
普通队列弹性扩缩容 前提条件 新创建的按需计费队列需要运行作业后才可进行弹性扩缩容。 本节操作仅适用于普通队列,不适用于弹性资源池队列。 约束与限制 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 目前只支持计费模式为“按需/CU时”和“按需/专属资源模式”的队列进行弹性扩缩容。
迁移数据场景概述 为了将分散在不同系统中的数据迁移到DLI,确保数据可以在DLI集中分析和管理,您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI,再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数据源,通过可视化界面对数据源迁移任务进行配置,提高数据迁移和集成的效率。
Flink作业怎样设置“异常自动重启”? 场景概述 DLI Flink作业具有高可用保障能力,通过设置“异常自动重启”功能,可在周边服务短时故障恢复后自动重启。 操作步骤 登录DLI控制台,选择“作业管理”>“Flink作业”。 在Flink作业编辑页面,勾选“异常自动重启”。例如,图1所示。 图1 Flink SQL作业编辑界面
JDBC维表 创建JDBC表用于与输入流连接。 前提条件 请务必确保您的账户下已创建了相应实例。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
创建该作业前,需要建立DLI和Redis的增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨
图18 设置作业监控 设置实例监控 作业每次运行,都会对应产生一次作业实例记录。 在数据开发模块控制台的左侧导航栏,选择 “运维调度”,进入实例监控列表页面,您可以在该页面中查看作业的实例信息,并根据需要对实例进行更多操作。 了解更多实例监控。 图19 设置实例监控 常见问题 如果 DataArts
在DLI控制台预览表数据 “预览页面”将显示对应表的前10条数据。 预览数据步骤 预览数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面预览数据。 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需导出数据对应数据库名称,进入该数据库“表管理”页面。
弹性资源池CU设置 CU设置主要是为了控制弹性资源池扩缩容的最大最小CU范围,避免无限制的资源扩容风险。 例如,当前弹性资源池CU设置的最大CU为256CU,并且该弹性资源池添加了2个队列,2个队列扩缩容策略最小CU数为64CU,这时如果该弹性资源池再添加一个队列并且该队列最小C
单击需要修改的表对应数据库名,进入该数据库的“表管理”页面。 单击目标表“操作”栏中的“更多”>“修改所有者”。 在弹出的对话框中,输入新的所有者用户名(已存在的用户名),单击“确定”。 父主题: 在DLI控制台管理表资源
数据库名称。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 new_owner 是 String 新owner名称。新用户必须是当前租户下的子用户。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。
将OBS数据导入至DLI 本节操作介绍将OBS上的数据导入到DLI控制台的表中。 注意事项 导入数据时只能指定一个路径,路径中不能包含逗号。 如果将CSV格式数据导入分区表,需在数据源中将分区列放在最后一列。 不建议对同一张表并发导入数据,因为有一定概率发生并发冲突,导致导入失败。
管理增强型跨源连接 查看增强型跨源连接的基本信息 增强型跨源连接权限管理 增强型跨源连接绑定弹性资源池 增强型跨源连接与弹性资源池解绑 添加增强型跨源连接的路由信息 删除增强型跨源连接的路由信息 修改弹性资源池的主机信息 增强型跨源连接标签管理 删除增强型跨源连接 父主题: 配置DLI读写外部数据源数据
怎样查看套餐包资源的使用情况? 购买套餐包后,随着套餐包的使用您可以随时查看套餐包使用情况,了解套餐包详情。 操作步骤 登录华为云费用中心。 选择“资源包”。在“资源包列表”页签中单击目标资源包名称/ID,查看套餐包的详细信息。 图1 查看套餐包资源使用情况 父主题: 计费相关问题
弹性资源池规格变更 使用场景 包年包月的弹性资源池CU数在规格(包周期CU)的范围内使用包年包月计费,超过规格(包周期CU)的部分则按弹性资源池CU时计费的方式计费,您可以根据实际CU的使用情况通过规格变更来使得计费更优惠。 例如,当前弹性资源池的规格(包周期CU)为64CU,实