检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 当前只支持CSS集群7.X及以上版本,推荐使用7.6.2版本。 如果不使用“connector
创建source流从Redis获取数据,作为作业的输入数据。 前提条件 创建该作业前,需要建立DLI和Redis的增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
获取分区信息列表(废弃) 功能介绍 该API用于用于获取分区信息的列表。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/databases/{database_name}/t
放通弹性资源池的网段。 获取共享VPC下数据源的私有内网IP和端口。 以RDS数据源为例:在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”>“内网地址”,即可获取RDS内网地址。查看“连接信息”>“数据库端口”,获取RDS数据库实例端口。 在DLI管理控制台,单击“资源管理
参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 with-priv 否 Boolean 是否显示权限信息,取值为“true”或者“false”,默认为“false”。
选择DLI下已创建的数据库。当前示例为在DLI上创建数据库和表中创建的数据库名,即为“testdb”。 表名 选择DLI下已创建的表名。当前示例为在DLI上创建数据库和表中创建的表名,即为“tablecss”。 导入前清空数据 选择导入前是否清空目的表的数据。当前示例选择为“否”。 如
选择DLI下已创建的数据库。当前示例为在DLI上创建数据库和表中创建的数据库名,即为“testdb”。 表名 选择DLI下已创建的表名。当前示例为在DLI上创建数据库和表中创建的表名,即为“tablecss”。 导入前清空数据 选择导入前是否清空目的表的数据。当前示例选择为“否”。 如
Hbase集群为例,该参数的所使用Zookeeper的ip地址和端口号获取方式如下: 在MRS Manager上,选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”,获取ZooKeeper角色实例的IP地址。 在MRS Manager上,选择“集群 > 待操作的集群名称
择:TCP,端口值不填,类型:IPv4,源地址为:10.0.0.0/16,单击“确定”完成安全组规则添加。 Kafka和RDS实例属于同一VPC和子网下? 是,执行7。Kafka和RDS实例在同一VPC和子网,不用再重复创建增强型跨源连接。 否,执行5。Kafka和RDS实例分别
Hbase集群为例,该参数的所使用Zookeeper的ip地址和端口号获取方式如下: 在MRS Manager上,选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”,获取ZooKeeper角色实例的IP地址。 在MRS Manager上,选择“集群 > 待操作的集群名称
Hbase集群为例,该参数的所使用Zookeeper的ip地址和端口号获取方式如下: 在MRS Manager上,选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”,获取ZooKeeper角色实例的IP地址。 在MRS Manager上,选择“集群 > 待操作的集群名称
择:TCP,端口值不填,类型:IPv4,源地址为:10.0.0.0/16,单击“确定”完成安全组规则添加。 Kafka和CSS实例属于同一VPC和子网下? 是,执行7。Kafka和CSS实例在同一VPC和子网,不用再重复创建增强型跨源连接。 否,执行5。Kafka和CSS实例分别
对应请求消息头,响应同样也有消息头,如“Content-Type”。 对于获取用户Token接口,接口,返回如图1所示的消息头,其中“x-subject-token”就是需要获取的用户Token。有了Token之后,您就可以使用Token认证调用其他API。 图1 获取用户Token响应消息头 响应消息体 响应
74997)]),0.001)); IP地理函数 当前仅支持IPV4的IP地址。 表6 IP地理函数表 函数 返回值 说明 IP_TO_COUNTRY STRING 获取IP地址所在的国家名称。 IP_TO_PROVINCE STRING 获取IP地址所在的省份。 用法说明: IP_TO_PROVINCE(STRING
如果小文件过多,则可以参考如何合并小文件来进行处理。 原因2 广播表:广播也可能会造成Driver内存的FullGC。 登录DLI控制台,单击“作业管理 > SQL作业”。 在SQL作业页面,在对应作业所在行,单击按钮,查看作业详情,获取作业ID。 图6 获取作业ID 在对应作业的“操作”列,单击“Spark
获取全部集群信息(废弃) 功能介绍 该API用于列出该project下所有的集群。 当前接口已废弃,不推荐使用。 URI URI格式: GET/v2.0/{project_id}/clusters 参数说明 表1 URI参数 名称 是否必选 说明 project_id 是 项目编
); 参数说明 通用配置项 参数 默认值 是否必选 参数类型说明 fenodes -- Y Doris FE ip地址和port, 多实例之间使用逗号分隔。其中port可登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”,在搜索框中搜索
资源相关 前提条件 已参考Python SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 上传资源包 您可以使用DLI提供的接口上传资源包,示例代码如下。完整样例代码和依赖包说明请参考:Python SDK概述。 1 2 3 4
获取指定集群信息(废弃) 功能介绍 该API用于查询指定集群的信息,包括名称、描述以及绑定的计算资源数。 当前接口已废弃,不推荐使用。 URI URI格式: GET /v2.0/{project_id}/clusters/{cluster_name} 参数说明 表1 URI参数 名称
failed java.lang.IllegalArgumentException: Access key cannot be null 问题根因 该Flink SQL作业在配置作业运行参数时,有选择保存作业日志或开启Checkpoint,配置了OBS桶保存作业日志和Checkpoint。但是运行该Flink