检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
队列管理”。 选择增强型跨源所绑定的资源池下的队列,单击操作列“更多 > 测试地址连通性”。 输入数据源连接地址和端口,测试网络连通性。 若地址可达,说明账号B已建立DLI资源与共享VPC中的资源的网络连接,账号B可以使用DLI弹性资源池的队列提交作业访问共享VPC中的资源。 父主题: 配置
安全集群的登录密码。 Certificate路径 上传“安全证书”的OBS路径。即步骤2的OBS桶地址。 图1 创建认证信息-CSS 访问CSS的表。 跨源认证创建成功后,在创建访问CSS的表时只需关联跨源认证即可安全访问数据源。 例如在使用Spark SQL来创建访问CSS的表时使用es
(".")组成,字母开头。 ip 否 String 主机对应的IPv4地址。 表4 tags参数 参数名称 是否必选 参数类型 说明 key 是 String 标签的键。 说明: 标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,
跨源连接信息列表,详细信息请参考表4。 count 否 Integer 返回的跨源连接个数。 表4 connections参数 参数名称 是否必选 参数类型 说明 id 否 String 连接ID,用于标识跨源连接的UUID。 name 否 String 创建连接时,用户自定义的连接名称。 status 否 String
根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试)。若能连通
15依赖包 请在Flink作业的日志中获取Flink 1.15相关依赖包信息: 查看Flink日志。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击作业名称,选择“运行日志”。 控制台只展示最新的运行日志,更多日志信息请查看保存日志的OBS桶。 在日志中搜索依赖包信息。
基准测试的度量单位是每小时执行的查询数( QphH@size),其中“H”表示每小时系统执行复杂查询的平均次数,“size”表示数据库规模的大小,能够反映出系统在处理查询时的能力。TPC-H 是根据真实的生产运行环境来建模的,这使得它可以评估一些其他测试所不能评估的关键性能参数。总而言之,TPC组织颁布的TPC-H
最多支持20个标签。 每个资源中的键不能重复,同一个键中值不能重复。 无tag过滤条件时返回全量数据。 matches 否 Array of objects 搜索字段。 请参考matches。 表4 tags 参数 是否必选 参数类型 描述 key 是 String 键。 标签的键的最大长度为12
根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka的地址 > 测试)。如果能连
使用canal-json读取kafka中的canal记录,并输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 >
LITERAL 的时候,指定字符串常量替换 Map 中的空 key 值。 支持的Connector Kafka 示例 使用kafka发送数据,输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放
Tool),是一款开源的数据建模和转换工具,运行在Python环境上。DBT连接DLI,用来定义和执行SQL转换,支持从数据集成、转换到分析的整个数据生命周期管理,适用于大规模数据分析项目和复杂的数据分析场景。 本节操作介绍DBT连接DLI的操作步骤。 操作前准备 环境要求 确保您的系统环境满足以下要求。
地理大数据分析 地理大数据分析 地理大数据具有大数据的相关特征,数据体量巨大,例如,全球卫星遥感影像数据量达到PB级。数据种类多,有结构化的遥感影像栅格数据、矢量数据,非结构化的空间位置数据、三维建模数据;在大体量的地理大数据中,通过高效的挖掘工具或者挖掘方法实现价值提炼,是用户非常关注的话题。
安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource sql作业,选择flink1
说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的时候,PATCH可能会去创建一个新的资源。
已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。 已创建包含Kafka组件的MRS安全集群。具体创建MRS集群的操作可以参考创建MRS集群。 本示例创建的MRS集群版本为:MRS 3.1.0。 本示例创建的MRS集群开启了Kerberos认证。
选择左侧导航栏的“总览”,单击页面右上角的“登录指令”,在弹出的页面中单击复制登录指令。 在安装容器引擎的虚拟机中执行上一步复制的登录指令。 创建容器镜像组织。如果已创建组织则本步骤可以忽略。 登录SWR管理控制台。 选择左侧导航栏的“组织管理”,单击页面右上角的“创建组织”。 填写组织名称,单击“确定”。
柱状图和折线图的X轴可为任意一列,Y轴仅支持数值类型的列,扇形图对应图例和指标。 SQL编辑器功能概览 SQL作业参数设置 单击SQL编辑器页面右上方的“设置”按钮。可以设置SQL作业运行参数和作业标签。 参数设置:以“key/value”的形式设置提交SQL作业的配置项。 详细
根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka的地址 > 测试)。如果能连
单击输入框旁边的“选择”按钮,选择当前已创建的RDS实例名即可自动关联出来数据库服务器地址。 端口 RDS实例的端口。选择数据库服务器后自动自动关联。 数据库名称 当前需要迁移的RDS MySQL数据库名称。当前示例为3中创建的数据库“testrdsdb”。 用户名 待连接数据库的用户。