如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则,则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。 以下介绍如何为队列添加标签、修改标签和删除标签。 在DLI管理控制台的左侧导航栏中,单击“资源管理 > 弹性资源池”。 在对应队列的“操作”列,选择“更多>
保证资源的利用率和应对资源洪峰等诉求。 弹性资源池对后端资源统一进行管理和调度,多个队列绑定弹性资源池后,资源池内资源共享,资源利用率高,解决了场景二的问题。 父主题: 创建弹性资源池和队列
禁止两个英文句号(.)或英文句号(.)和中划线(-)相邻,禁止以英文句号(.)和中划线(-)开头或结尾。 禁止使用IP地址。 如果名称中包含英文句号(.),访问桶或对象时可能会进行安全证书校验。 导入源文件时,如果源文件中的某一列与目标表列类型不匹配,将会导致该行数据的查询结果为null 。 不支持并发导入同一张表。
action生成新版本的列式文件。Merge-On-Read表可减少数据摄入延迟,因而进行不阻塞摄入的异步Compaction很有意义。 如何执行Compaction 仅执行Schedule Spark SQL(设置如下参数,写数据时触发) hoodie.compact.inline=true
登录CSS管理控制台,选择“集群管理 > Elasticsearch”。 在集群管理界面,在已创建的CSS集群的“操作”列,单击“Kibana”访问集群。 在Kibana的左侧导航中选择“Dev Tools”,进入到Console界面。 在Console界面,执行如下命令创建索引“shoporders”。
File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,以及TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。 并行文件系统的详细介绍和使用说明,请参见《并行文件系统特性指南》。
network_id 是 String 对应服务的子网网络ID,即为需要建立连接的服务所在的子网。 url 是 String 对应服务对外提供的访问url。长度不能超过512个字符。获取方式请参考表4。 tags 否 Array of Objects 队列的标签。具体请参考表3。 表3
connection_id 否 String 连接ID,用于标识跨源连接的UUID。 destination 否 String 创建连接时,用户填写的队列的访问地址。 state 否 String 连接状态,具体状态请参见表4。 process 否 Double 正在创建的跨源连接进度,显示0.0至1
connection_id 否 String 连接ID,用于标识跨源连接的UUID。 destination 否 String 创建连接时,用户填写的队列的访问地址。 state 否 String 连接状态,具体状态请参见表4。 process 否 Double 正在创建的跨源连接进度,显示0.0至1
数据库相关的描述信息。 enterprise_project_id 是 String 企业项目ID,“0”表示default,即默认的企业项目。关于如何设置企业项目请参考《企业管理用户指南》。 说明: 开通了企业管理服务的用户可设置该参数绑定指定的项目。 resource_id 是 String
partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 frame_clause 否 用于确定数据边界。 返回值说明 参数的数据类型。 示例代码 示例数据 为便于理解函数的使用方法,本文
如果未设置此配置选项,则提供的路径仅被扫描一次,因此源将是有界的。 可用的Metadata 以下连接器 metadata 可以在表定义时作为 metadata 列进行访问。所有 metadata 都是只读的。 键 数据类型 描述 file.path STRING NOT NULL 输入文件的完整路径。 file
取值。 spark.dli.user.queueName DLI队列名称。 spark.dli.user.access.key 对应用户的访问密钥。该用户需要有Spark作业相关权限,权限说明详见权限管理。 密钥获取方式请参考获取AK/SK。 spark.dli.user.secret
partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 frame_clause 否 用于确定数据边界。 返回值说明 参数的数据类型。 示例代码 为便于理解函数的使用方法,本文为您提供源
则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。 本章节包含如下内容: 管理作业标签 根据标签查找作业 管理作业标签 本节介绍如何为作业添加标签、修改标签和删除标签。 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。
创建弹性资源池并添加队列 调整弹性资源池中队列的扩缩容策略 (可选)步骤三:创建增强型跨源连接 如果运行的作业需要跨源访问其他外部数据源数据,如作业需要访问DWS、RDS等数据时,需要创建跨源连接。 创建的跨源连接需要和弹性资源池进行绑定。 创建增强型跨源连接 步骤四:运行作业
于匹配分区。 展示的信息将包括表的基本信息和相关的文件系统信息,其中文件系统信息包括总文件数、总文件大小、最大文件长度、最小文件长度、最后访问时间以及最后更新时间。如果指定了分区,将给出指定分区的文件系统信息,而不是分区所在表的文件系统信息。 参数说明 IN | FROM schema_name
获取跨源认证列表 功能介绍 该API用于查看某个project下跨源认证列表。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v3/{project_id}/datasource/auth-infos 参数说明 表1 URI参数说明 参数 是否必选
获取跨源认证列表(废弃) 功能介绍 该API用于查看某个project下跨源认证列表。 当前接口已废弃,不推荐使用。推荐使用获取跨源认证列表。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v2.0/{project_id}/datasource/auth-infos
AK/SK认证就是使用AK/SK对请求进行签名,从而通过身份认证。 获取AK/SK DLI Endpoint地址 地区与终端节点,即云服务在不同Region有不同的访问域名。 获取EndPoint DLI所在的项目ID 项目编号,用于资源隔离。 获取项目ID DLI区域信息 DLI所属区域信息 地区和终端节点
您即将访问非华为云网站,请注意账号财产安全