检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Strings 经典跨源绑定的队列信息。 表4 连接状态 名称 含义 说明 CREATING 创建中 跨源连接正在创建中。 ACTIVE 已激活 跨源连接创建成功,与目的地址连接正常。 FAILED 已失败 跨源连接创建失败。 DELETED 已删除 跨源连接已被删除。 请求示例 无 响应示例
仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后,请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Flink1.15版本使用委托授权访问临时凭证: 在创建作业时,请配置作业使用Flink1.15版本 已在作业
设置导出查询结果数据是否含表头。 导出作业结果到本地 异步DDL和QUERY语句支持将结果下载到本地。下载到本地默认仅支持下载1000条数据。 具体操作如下: 单击执行成功的异步DDL或QUERY语句“操作”列中的“下载到本地”,在提示窗口单击“确认”。此时,“操作”列中的“下载到本地”将变为“立即下载”。
所提交Spark作业的ID,由系统默认生成。 名称 所提交Spark作业的名称。 队列 所提交Spark作业所在的队列。 用户名 执行Spark作业的用户名称。 状态 作业的状态信息,包括如下。 启动中:正在启动 运行中:正在执行任务 已失败:session已退出 已成功:session运行成功
单击页面右上角“授权”可对用户进行全局变量授权。 图1 全局变量授权 表2 全局变量参数说明 参数名称 描述 用户名 被授权的IAM用户的名称。 说明: 该用户名称是已存在的IAM用户名称。 权限设置 更新:更新该全局变量。 删除:删除该全局变量。 赋权:当前用户可将全局变量的权限赋予其他用户。
String 被查询的表所在的数据库名称。 table_name 是 String 被查询的表名称。 user_name 是 String 被查询的用户名称。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行
project_id 否 String 项目ID。 user_id 否 String 用户ID。 user_name 否 String 用户名。 is_sensitive 否 Boolean 是否设置为敏感变量。 create_time 否 Long 创建时间。 update_time
需要授权的用户名或选择需要授权的项目,选择相应的权限。具体权限说明请参考表1。 图1 数据库用户授权 图2 数据库项目授权 表1 参数说明 参数 描述 授权对象 选择“用户授权”或“项目授权”。 用户名或项目名 选择“用户授权”时,输入数据库新增用户对应的IAM用户名称。 说明:
群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。
跨源访问MRS HBase,连接超时,日志未打印错误怎么办? 用户在跨源连接中没有添加集群主机信息,导致KRB认证失败,故连接超时,日志也未打印错误。 建议您重新配置主机信息后再重试访问MRS HBase。 在“增强型跨源”页面,单击该连接“操作”列中的“修改主机信息”,在弹出的对话框中,填写主机信息。
pyspark样例代码 开发说明 支持对接CloudTable的HBase和MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
表语句,导致更新的DWS源表被替换。 处理步骤 新建DLI跨源表,并添加建表配置项 truncate = true(只清空表数据,不删除表)。 建议与总结 在更新跨源目的端源表后,必须同时更新对应DLI跨源表。 父主题: 增强型跨源连接类
Maxwell Format 功能描述 Maxwell是一个CDC(Changelog Data Capture)工具,可以将MySql中的更改实时流式写入到Kafka等流式connector。Maxwell为changelog提供了统一的格式,而且支持使用JSON对消息进行序列化。
弹性资源池与该增强型跨源连接绑定、可自定义路由等操作。以此实现增强型跨源连接的跨项目应用。本节操作介绍对增强型跨源连接授权或回收权限的操作步骤。 如果被授权的项目属于相同区域(region)的不同用户,则需使用被授权项目所属的用户账号进行登录。 如果被授权的项目属于相同区域(re
SDK依赖第三方库包括:urllib3 1.15以上版本,six 1.10以上版本,certifi,python-dateutil。 操作步骤 从Python官网下载并安装Python版本。 根据Python官方指导安装Python版本。 检验是否配置成功,运行cmd ,输入 p
跨源连接相关 跨源连接HBase表 跨源连接OpenTSDB表 跨源连接DWS表 跨源连接RDS表 跨源连接CSS表 跨源连接DCS表 跨源连接DDS表 跨源连接Oracle表
表1 使用DLI提交SQL作业查询OBS数据的操作步骤 操作步骤 说明 步骤1:上传数据至OBS 使用DLI查询数据前,需要将数据文件上传至OBS中。 步骤2:创建弹性资源池并添加队列 创建提交作业所需的计算资源。 步骤3:创建数据库 DLI元数据是SQL作业开发的基础。在执
version 对表操作的版本号 timestamp 当前版本操作的时间戳 userId 当前版本操作的用户id userName 当前版本操作的用户名 operation 操作名称(WRITE|CREATE TABLE|UPDATE|DELETE|MERGE|RESTORE等) operationParameters
默认是按照三个字节一个单位进行编码的,这个原因导致将数据存入mysql数据库时出现错误。 出现该问题可能原因如下: 数据库编码问题。 处理步骤 修改字符集为utf8mb4。 执行如下SQL更改数据库字符集。 ALTER DATABASE DATABASE_NAME DEFAULT
Pattern 兼容。 元数据 元数据可以在 DDL 中作为只读(虚拟)meta 列声明。 Format的元数据只有在相应的连接器使用元数据时才可用。目前,只有Kafka连接器。 表2 元数据 Key 数据类型 说明 database STRING NULL 源数据库。对应于Canal记录中的database字段(如果可用)。