检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2)来实现的。当创建一个IPv4时,会被映射到IPv6。当格式化时,如果数据是IPv4又会被重新映射为IPv4。 其他的地址则会按照RFC 5952所定义的规范格式来进行格式化。 示例: select IPADDRESS '10.0.0.1', IPADDRESS '2001:db8::1';
SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 样例代码 用户可以使用OBS授权操作的接口,将OBS桶的操作权限授权给DLI, 用于保存用户作业的数据和作业的运行日志等。 示例代码如下: 1 2 3 4 5 6 7 private
惯和业务需要自定义作业模板,方便后续创建提交作业。 开发指南 Flink SQL语法参考 提供Flink OpenSource SQL创建源表、结果表和维表的语法说明和样例指导。 Flink作业样例 提供Flink作业程序开发的样例指导。 使用Flink Jar写入数据到OBS
DayTimeIntervalType的映射类型变化为Duration 说明: 在ArrowWriter和ArrowColumnVector开发者API中,从Spark 3.3.x版本开始,Spark SQL中的DayTimeIntervalType类型被映射到Apache Arrow的Duration类型。
4.x的V1表修改为V2表。 升级Spark 2.4.x的V2表升级为Spark 3.3.1的V2表。 同时还需考虑Spark jar作业API语法的兼容性。 表3 DLI各Spark版本对V1、V2表兼容列表 表类型 Spark2.4 通用队列 Spark3.3 通用队列 V1表
aS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措
监控、在线分析等场景。 Flink OpenSource作业:提交作业时可以使用DLI提供的标准的连接器(connectors)和丰富的API,快速与其他数据系统的集成。 Flink Jar作业:允许用户提交编译为Jar包的Flink作业,提供了更大的灵活性和自定义能力。适合需要
的字段类型。 编写代码示例 import org.apache.flink.api.common.typeinfo.TypeInformation; import org.apache.flink.api.common.typeinfo.Types; import org.apache
实时视图读取(Spark jar作业为例): Spark jar作业可以通过两种方式来读取Hudi表:Spark datasource API 或者通过 SparkSession 提交 SQL。 配置项 hoodie.datasource.query.type 需要配置为 sna
的字段类型。 编写代码示例 import org.apache.flink.api.common.typeinfo.TypeInformation; import org.apache.flink.api.common.typeinfo.Types; import org.apache
的字段类型。 编写代码示例 import org.apache.flink.api.common.typeinfo.TypeInformation; import org.apache.flink.api.common.typeinfo.Types; import org.apache
产品优势 纯SQL操作 DLI提供标准SQL接口,用户仅需使用SQL便可实现海量数据查询分析。SQL语法全兼容标准ANSI SQL 2003。 存算分离 DLI解耦计算和存储负载,存算分离架构,存储资源和计算资源按需灵活配置,提高了资源利用率,降低了成本。 企业级多租户 支持计算
{obs域名}/{jarPath}/{jarName}。 description:资源包描述信息。 查询所有资源包 DLI提供查询资源列表接口,您可以使用该接口并选择相应的资源来执行作业。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 private static
myhuaweicloud.com/jarname.jar" group_name:资源包所属分组名称。 查询所有资源包 DLI提供查询资源列表接口,您可以使用该接口并选择相应的资源来执行作业。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 def lis
MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速(系统会尝试启用MySQL数据库的local_infile系统变量)。 是 使用Agent Agent功能待下线,无需配置。
S访问权限和查看主账号表的权限;如果主账号未登录过DLI服务,子账号除上述权限外,还需要创建数据库和创建表的权限。 使用TPC-H样例模板开发并提交SQL作业 为了便捷快速地执行SQL操作,DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后,不需编写SQL语句,可通过模板直接执行SQL操作。
根据提示输入对应信息,单击“确定”。 在弹出的提示页面单击“立即下载”。下载成功后,打开凭证文件,获取AK/SK信息。 左侧导航栏单击“API凭证”,在“项目列表”中获取“项目ID”即为project_id值,对应的“项目”即为region的值。 Token认证方式样例代码 代码样例
资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 区域和终端节点 当您通过API使用资源时,您必须指定其区域终端节点。有关区域和终端节点的更多信息,请参阅地区和终端节点。 父主题: DLI产品咨询类
根据提示输入对应信息,单击“确定”。 在弹出的提示页面单击“立即下载”。下载成功后,打开凭证文件,获取AK/SK信息。 左侧导航栏单击“API凭证”,在“项目列表”中获取“项目ID”即为project_id值,对应的“项目”即为region的值。 Token认证方式样例代码 代码样例
为true,并在源表上定义PRIMARY KEY。Framework将生成一个额外的有状态操作符,并使用主键对变更事件进行去重,并生成一个规范化的changelog流。 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指