检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理增强型跨源连接 查看增强型跨源连接的基本信息 增强型跨源连接权限管理 增强型跨源连接绑定弹性资源池 增强型跨源连接与弹性资源池解绑 添加增强型跨源连接的路由信息 删除增强型跨源连接的路由信息 修改弹性资源池的主机信息 增强型跨源连接标签管理 删除增强型跨源连接 父主题: 配置DLI读写外部数据源数据
状态码如表4所示。 表4 状态码 状态码 描述 200 授权成功。 400 请求错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: Flink作业相关API(废弃)
查询批处理作业日志:查看批处理作业日志。 操作步骤 创建弹性资源池elastic_pool_dli 接口相关信息 URI格式:POST /v3/{project_id}/elastic-resource-pools {project_id}信息请从获取项目ID获取。 请求参数说明详情,请参见创建弹性资源池。 请求示例
管理DLI具数据源的访问凭证: Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景 推荐使用数据加密服务DEW来存储数据源的认证信息,为您解决数据安全、密钥安全、密钥管理复杂等问题。 具体操作请参考使用DEW管理数据源访问凭证。 使用DEW管理数据源访问凭证时,您还需要
根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功;否则表示未成功 创建flink opensource sql作业,并选择flink版本为1
弹性资源池收费吗?弹性资源池中的队列收费吗? 弹性资源池支持按需、包周期、套餐包的计费模式。您可以参考DLI计费说明了解更多弹性资源池计费信息。 添加到弹性资源池中的队列不再单独计费,以弹性资源池为计费项计费: 按需计费模式:按弹性资源池的实际CUs计费。 包年/包月计费模式:按
TABLE|UPDATE|DELETE|MERGE|RESTORE等) operationParameters 操作参数 job 运行该操作的作业的详细信息 notebook 运行操作的笔记的详细信息 clusterId 集群id readVersion 为执行写操作而读取的表的版本 isolationLevel 隔离级别
批量运行作业:运行Flink自定义作业。 操作步骤 创建弹性资源池elastic_pool_dli 接口相关信息 URI格式:POST /v3/{project_id}/elastic-resource-pools {project_id}信息请从获取项目ID获取。 请求参数说明详情,请参见创建弹性资源池。 请求示例
套餐包规格。 购买时长 选择购买套餐包的购买时长。 购买数量 设置购买套餐包的数量。 确认套餐信息后,勾选相关协议,单击“立即购买”。 计费示例 示例价格仅供参考,实际价格请以DLI产品价格详情中的信息为准。 更多示例参考DLI产品价格详情。 假设用户A预先购买了4000CU时的套餐包,
'(topic-a|topic-b|topic-[0-9]*)' connector.properties.bootstrap.servers 是 kafka brokers地址,以逗号分隔。 connector.properties.group.id 否 消费组名称 connector.startup-mode 否
执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 count Integer 返回的模板个数。 templates Array of Objects 模板信息列表。请参考表4。 表4 templates参数说明 参数 参数类型 说明
数据生态无缝融合,实现海量数据的秒级交互式查询。 DLI+HetuEngine能够快速处理大规模数据集的查询请求,迅速和高效从大数据中提取信息,极大地简化了数据的管理和分析流程,提升大数据环境下的索引和查询性能。 TB级数据秒级响应: HetuEngine通过自动优化资源与负载的
配置(只对新集群开放)。 在SparkUI页面,单击“Environment”,可以查看Driver信息和Executor信息。 图3 Driver信息 图4 Executor信息 父主题: Spark作业开发类
表相关API(废弃) 创建表(废弃) 删除表(废弃) 查询所有表(废弃) 描述表信息(废弃) 预览表内容(废弃) 获取分区信息列表(废弃) 父主题: 资源相关API(废弃)
集群相关API(废弃) 创建集群(废弃) 删除集群(废弃) 获取指定集群信息(废弃) 获取全部集群信息(废弃) 父主题: 历史API
message 否 String 系统提示信息,执行成功时,信息可能为空。示例值:空。 database_name 否 String 被查询的数据库名称。示例值:dsstest。 privileges 否 Array of objects 权限信息。具体参数请参考表3。 表3 privileges参数
增强型跨源连接相关API 创建增强型跨源连接 删除增强型跨源连接 查询增强型跨源连接列表 查询增强型跨源连接 绑定队列 解绑队列 修改主机信息 查询增强型跨源授权信息 创建路由 删除路由
执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 count 否 Long 总共条数。 elastic_resource_pools 否 Array of Objects 弹性资源池信息。详细请参考表4。 表4 elastic_resource_pools参数说明
Boolean 执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 mask Array of strings 授权掩码信息。 示例 请求样例: { "job_id":"6b29eb77-4c16-4e74-838a-2cf7959e9203"
想要插入到表中的值,列与列之间用逗号分隔。 注意事项 DLI表必须已经存在。 DLI表在创建时不需要指定Schema信息,Schema信息将使用DWS表的信息。如果select子句中选择的字段数量和类型与DWS表的Schema信息不匹配时,系统将报错。 不建议对同一张表并发插入数据,因为有一定概率发生并发冲突,导致插入失败。