检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
典型场景示例:配置弹性资源池队列扩缩容策略完成后续操作。 弹性资源池界面添加队列 创建完弹性资源池后,弹性资源池可以添加一个或多个队列用于后续作业的运行。本节操作介绍在弹性资源池中添加队列的操作步骤。 添加到弹性资源池中的队列不再单独计费,以弹性资源池为计费项计费。 在左侧导航栏
JSON函数使用SQL标准的ISO/IEC TR 19075-6中描述的JSON路径表达式。它们的语法受到ECMAScript的启发并采用了ECMAScript的许多特性,但既不是其子集,也不是其超集。 路径表达式有两种,一种是宽松模式,另一种是严格模式。当省略时,它默认为严格模
单击“网络”中的安全组名称,在“入方向规则”中添加放通队列网段的规则。 例如,本示例队列网段为“10.0.0.0/16”,则规则添加为:优先级选为:1,策略选为:允许,协议选择:TCP,端口值不填,类型:IPv4,源地址为:10.0.0.0/16,单击“确定”完成安全组规则添加。 创建DLI队列连接Kafka的增强型跨源连接。
方法一: 选择待添加的增强型跨源连接,单击操作列的“路由信息”。 单击“添加路由”。 在添加路由的对话框中,填写路由信息。参数说明请参考表1。 单击“确定”。 方法二: 选择待添加的增强型跨源连接,单击操作列的“更多 > 添加路由”。 在添加路由的对话框中,填写路由信息。参数说明请参考表1。
001)); IP地理函数 当前仅支持IPV4的IP地址。 表6 IP地理函数表 函数 返回值 说明 IP_TO_COUNTRY STRING 获取IP地址所在的国家名称。 IP_TO_PROVINCE STRING 获取IP地址所在的省份。 用法说明: IP_TO_PROVINCE(STRING
函数的参数传递操作步骤如下: 在Flink OpenSource SQL编辑页面右侧自定义配置中添加参数pipeline.global-job-parameters,格式如下: pipeline.global-job-parameters=k1:v1,"k2:v1,v2",k3:"str:ing"
函数的参数传递操作步骤如下: 在Flink OpenSource SQL编辑页面右侧自定义配置中添加参数pipeline.global-job-parameters,格式如下: pipeline.global-job-parameters=k1:v1,"k2:v1,v2",k3:"str:ing"
选择“SNAT规则”页签,单击“添加SNAT规则”。 详细请参考《NAT网关用户指南》中“添加SNAT规则”。 使用场景选择云专线/云连接。 添加专属队列所在的网段。 绑定对应的弹性公网IP。 图7 添加SNAT规则 添加完成后,单击“确定”。 步骤6:添加自定义路由 在增强型跨源连接页面添加自定义路由
</settings> 方法二:通过在Eclipse中导入JAR文件安装SDK 使用Eclipse集成开发环境的项目,在集成开发环境中导入JAR文件。 从Eclipse官网下载并安装Eclipse IDE for Java Developers最新版本。在Eclipse中配置好JDK。 创建新工程,选择JRE版本,请参见图1
单击“连接信息”中的安全组名称,在“入方向规则”中添加放通队列网段的规则。例如,本示例队列网段为“10.0.0.0/16”,则规则添加为:优先级选择:1,策略选择:允许,协议选择:TCP,端口值不填,类型:IPv4,源地址为:10.0.0.0/16,单击“确定”完成安全组规则添加。 登录DLI管理控制台,
添加Python包后,找不到指定的Python环境 添加Python3包后,找不到指定的Python环境。 可以通过在conf文件中,设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3,指定计算集群环境为Python3环境。 目前,新
选择执行导出作业的队列。SQL作业只能在队列类型为“SQL队列”下执行。 压缩格式 否 导出查询结果数据的压缩方式,选择如下压缩方式。 none bzip2 deflate gzip 存储路径 是 选择导出的作业结果的OBS桶路径。 如果导出方式选择的是“随导出创建指定路径” 在选择桶路径后,需手动输入自
检查对端安全组是否放通队列的网段 检查增强型跨源连接对应的对等连接的路由信息 检查VPC网络是否设置了ACL规则限制了网络访问 检查是否在域名或者IP后添加了端口 测试连通性时需要添加端口号。 例如,测试队列与指定RDS实例连通性,本例RDS实例使用3306端口。 测试连通性如下所示。 图1 测试地址连通性
是 无 String connector类型,需配置为'mysql-cdc'。 hostname 是 无 String MySQL数据库的IP地址或者Hostname。 username 是 无 String MySQL数据库的用户名。 password 是 无 String MySQL数据库的密码。
是 无 String connector类型,需配置为'mysql-cdc'。 hostname 是 无 String MySQL数据库的IP地址或者Hostname。 username 是 无 String MySQL数据库的用户名。 password 是 无 String MySQL数据库的密码。
将"dli-sdk-python-<version>.zip"解压到本地目录,目录可自行调整。 安装SDK。 打开Windows操作系统“开始”菜单,输入cmd命令。 在命令行窗口,进入“dli-sdk-python-<version>.zip”解压目录下的windows目录。例如:“D:
Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射,请参见《数据湖探索用户指南》中修改主机信息章节。 Kafka是线下
一个业务IP。 参考修改主机信息修改主机信息。 如果MapReduce服务集群存在多个IP,创建跨源连接时填写其中任意一个业务IP即可。 方法二:通过MRS节点的“/etc/hosts”信息获取MRS主机信息 以root用户登录MRS的任意一个主机节点。 执行以下命令获取MRS对应主机节点的hosts信息,复制保存。
Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射,请参见《数据湖探索用户指南》中修改主机信息章节。 Kafka是线下
001)); IP地理函数 当前仅支持IPV4的IP地址。 表6 IP地理函数表 函数 返回值 说明 IP_TO_COUNTRY STRING 获取IP地址所在的国家名称。 IP_TO_PROVINCE STRING 获取IP地址所在的省份。 用法说明: IP_TO_PROVINCE(STRING