检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase集群的ZK连接地址。 获取ZK连接地址需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 访问CloudTable集群,填写ZK连接地址(内网)。 访问MRS集群,填写ZK所在节点IP与ZK对外端口,格式为:"ZK_IP1:ZK_PORT1,ZK_IP2:ZK_PORT2"。
参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 queue_type 否 String 队列的类型,有如下三种类型:
图6 检测地址连通性 输入步骤2:创建RDS数据库表中记录的RDS MySQL实例内网地址,进行网络连通性测试。 在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”>“内网地址”,即可获取对应信息。 测试结果显示可达,则DLI队列与MySQL实例的网络已经联通。 图7
步骤1:创建资源。在您的账户下创建作业需要的相关资源,涉及VPC、DMS、DLI、RDS。 步骤2:获取DMS连接地址并创建Topic。获取DMS Kafka实例连接地址并创建DMS Topic。 步骤3:创建RDS数据库表。获取RDS实例内网地址,登录RDS实例创建RDS数据库及MySQL表。 步骤4:创建D
数字、字母、下划线("_")、中划线("-")组成。 路由IP 自定义路由网段,允许不同路由的网段之间有交集,但不允许完全相同。 禁止添加100.125.xx.xx、100.64.xx.xx网段,避免与SWR等服务的内网网段重复,导致增强型跨源连接失败。 添加路由信息后,您可以在路由详情页查看添加的路由信息。
gaussdb:DWS集群默认数据库。 DWS集群连接地址:请参见获取集群连接地址进行获取。如果通过公网地址连接,请指定为集群“公网访问地址”或“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。
在Kafka管理控制台,选择“Kafka专享版”,单击对应的Kafka名称,进入到Kafka的基本信息页面。 在“连接信息”中获取该Kafka的“内网连接地址”,在“基本信息”的“网络”中获取该实例的“虚拟私有云”和“子网”信息,方便后续操作步骤使用。 单击“网络”中的安全组名称,在“入方向规则”中添加放通队列网段的规则。
Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Flink Jar使用DEW获取访问凭证读写OBS的操作指导。 用户获取Flink作业委托临时凭证 DLI提供了一个通用接口,可用于获取用户在启动Flink作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com
Driver中的文件路径与Executor中获取的路径位置是不一致的,所以不能将Driver中获取到的路径作为参数传给Executor去执行。 Executor获取文件路径的时候,仍然需要使用SparkFiles.get(“filename”)的方式获取。 SparkFiles.get()方法需要spark初始化以后才能调用。
区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Re
userDefined源表 功能描述 您可通过编写代码实现从云生态或者开源生态获取数据,再把获取到的数据作为Flink作业的输入数据。 前提条件 自定义source类需要继承类RichParallelSourceFunction,并指定数据类型为Row。 例如自定义类MySource:public
outputFunction(S, R)) 返回从数组减少的单个值。将按顺序为数组中的每个元素调用inputFunction。除了获取元素之外,inputFunction还获取当前状态,最初为initialState,然后返回新状态。将调用outputFunction将最终状态转换为结果值。它可能是恒等函数(i->
{project_id}信息请从获取项目ID获取。 请求参数说明详情,请参见创建弹性资源池。 请求示例 描述:在项目ID为48cc2c48765f481480c7db940d6409d1的项目下创建一个名称为elastic_pool_dli的弹性资源池。 示例URL:POST https://{en
游戏公司不同部门日常通过游戏数据分析平台,分析每日新增日志获取所需指标,通过数据来辅助决策。例如:运营部门通过平台获取新增玩家、活跃玩家、留存率、流失率、付费率等,了解游戏当前状态及后续响应活动措施;投放部门通过平台获取新增玩家、活跃玩家的渠道来源,来决定下一周期重点投放哪些平台。
参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 sql_id 是 String SQL模板ID。 请求参数 表2 请求参数说明 名称 是否必选 参数类型 说明 sql 否
安装dbt-core 使用pip安装建议版本的dbt-core: pip install dbt-core==1.7.9 pip是Python的包管理工具,通常与Python一起安装。 如果尚未安装pip,可以通过Python内置的ensurepip模块安装: python -m
SDK V3 写作说明 本文介绍了DLI服务提供的V3版本的SDK,列举了最新版本SDK的获取地址。 SDK列表 表1提供了DLI云服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 视频指导
云,子网,输入主机信息(可选)。 图4 创建增强型跨源连接 步骤4:购买弹性公网IP 在“弹性公网IP”界面,单击“购买弹性公网IP”。 根据界面提示配置参数。 参数填写说明请参考“购买弹性公网IP”。 步骤5:配置NAT网关 创建NAT网关。 登录控制台,在“服务列表”搜索“NAT网关”,进入网络控制台页面。
项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求参数 表2 请求参数 名称 是否必选 参数类型 说明 sql 是 String 新增的SQL模板。 sql_name 是 String 新增SQL模板名称,该名称在当前工程下必须唯一。 description 否 String
将文件或文件夹拖拽到指定的目录上,这样可以上传到指定的目录中。 单击Best_Practice_01.zip获取本示例的测试数据,将“Best_Practice_01.zip”压缩包解压。后续操作说明如下: 详单数据:将解压后Data目录下的“detail-records”文件夹上传到OBS桶根目录下。