检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
partition_specs RENAME TO PARTITION partition_specs; 关键字 PARTITION:分区。 RENAME:重命名。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 注意事项
用户可以通过云监控服务(CES)查看作业数据输入输出的详细信息。 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。 单击需要查看的作业名称,进入“作业详情”页面。 单击页面右上角的“作业监控”,将跳转至云监控服务(CES)。 图1
据量套餐的额度每个月会重置。 更多套餐包计费信息请参考套餐包计费。 本文将介绍按需计费的DLI数据扫描量计费的计费规则。 适用场景 DLI服务预置了名为default的队列供用户体验。用户在不确定所需队列容量或没有可创建队列空间的情况下,可以使用该队列执行作业。队列资源按需分配,
路由ID,因此跨源连接失败。 解决措施:请在服务授权添加DLI Datasource Connections Agency Access授权。 了解DLI更新委托权限。 图4 查看连接日志-2 图5 查看连接日志-3 图6 DLI服务授权 检查对端安全组是否放通队列的网段 创建完
ADD [IF NOT EXISTS] PARTITION partition_specs1 [LOCATION 'obs_path1'] PARTITION partition_specs2 [LOCATION 'obs_path2']; 关键字 IF NOT EX
ADD [IF NOT EXISTS] PARTITION partition_specs1 [LOCATION 'obs_path1'] PARTITION partition_specs2 [LOCATION 'obs_path2']; 关键字 IF NOT EX
模板的相关描述,且长度为0~512字符。 标签 使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源,即所有服务均可在标签输入框下拉选择同一标签,建议在标签管理服务(TMS)中创建预定义标签。 如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如
https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。 响应示例如下,例如DLI服务部署的区域为“cn-north-4”,相应消息体中查找“name”为“cn-north-4”,其中projects下的“id”即为项目ID。
使用SQL作业模板开发并提交SQL作业 为了便捷快速地执行SQL操作,DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后,不需编写SQL语句,可通过模板直接执行SQL操作。 当前系统提供了多条标准的TPC-H查询语句模板,您可以按需选择自定义模板或系统模板创建SQL作业。
表2 参数说明 参数名 具体含义 举例 bootstrap.servers kafka连接地址 kafka服务IP地址1:9092,kafka服务IP地址2:9092,kafka服务IP地址3:9092 group.id kafka消费组 如当前kafka消费组为test-group
自定义路由网段,允许不同路由的网段之间有交集,但不允许完全相同。 禁止添加100.125.xx.xx、100.64.xx.xx网段,避免与SWR等服务的内网网段重复,导致增强型跨源连接失败。 添加路由信息后,您可以在路由详情页查看添加的路由信息。 父主题: 管理增强型跨源连接
Java SDK版本说明。 方法一:通过Maven安装DLI SDK依赖 推荐您通过Maven安装依赖的方式使用华为云 Java SDK: 安装服务级SDK依赖 首先您需要在您的操作系统中 下载 并 安装Maven 。 安装配置完成后,输入命令“mvn -v”,显示如下图 Maven版本信息
使用Hive语法创建OBS表。 回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下: 在OBS服务控制台页面左侧选择“并行文件系统”,单击对应的文件系统名称。 在“基础配置”下单击“生命周期规则”,创建或者编辑生命周期规则。 图1 创建生命周期规则
配置前,请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统,并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,以及TB/s级别带宽和百
费明细数据。 步骤2:分析账户消费结构并优化 在DLI上进行消费明细分析。 将1下载的消费明细数据上传到已建好的OBS桶中。 在数据湖探索服务中创建表。 登录DLI控制台,左侧导航栏单击“SQL编辑器”,执行引擎选择“spark”,选择执行的队列和数据库。本次演示队列和数据库选择“default”。
手动续费 在云服务控制台续费 登录管理控制台。 单击左侧导航栏的图标,选择“大数据 > 数据湖探索 DLI”。 在队列或弹性资源池的列表页,选中待续费的包年/包月资源。 单击“操作”列下的“更多 > 续费”。 选择续费时长,判断是否勾选“统一到期日”,将到期时间统一到各个月的某一
使用Hive语法创建OBS表。 回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下: 在OBS服务控制台页面左侧选择“并行文件系统”,单击对应的文件系统名称。 在“基础配置”下单击“生命周期规则”,创建或者编辑生命周期规则。 图1 创建生命周期规则
Python开发环境配置 操作场景 在安装和使用Python SDK前,确保您已经完成开发环境的基本配置。 Python版本建议使用2.7.10和3.4.0以上版本,需要配置Visual C++编译环境Visual C++ build tools 或者 Visual Studio。
池并添加队列。 全局共享模式: 全局共享模式是一种根据SQL查询中实际扫描的数据量来分配计算资源的模式,不支持指定或预留计算资源。 DLI服务预置的“default”队列即为全局共享模式的计算资源,资源的大小是按需分配的。在不确定数据量大小或偶尔需要进行数据处理的用户,可以使用default队列执行作业。
语法格式 1 2 SHOW PARTITIONS [db_name.]table_name [PARTITION partition_specs]; 关键字 PARTITIONS:表中的分区。 PARTITION:分区。 参数说明 表1 参数描述 参数 描述 db_name Da