检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Bytes进行字节数组和Flink数据类型转换。 Flink的HBase连接器将所有数据类型（除字符串外）null值编码成空字节。对于字符串类型，null值的字面值由null-string-literal选项值决定。 表2 数据类型映射表 Flink数据类型 HBase转换 CHAR/VARCHAR/STRING
盖了全量数据而不是预期的分区数据，这可能是因为动态分区覆盖功能没有被启用。 如果需要动态覆盖DataSource表指定的分区数据，您需要先配置参数 dli.sql.dynamicPartitionOverwrite.enabled=true，然后通过insert overwrite语句实现。
参数填写完成后，单击“立即购买”，在界面上确认当前配置是否正确。 单击“提交”完成弹性资源池的创建。 在弹性资源池的列表页，选择要操作的弹性资源池，单击操作列的“添加队列”。 配置队列的基础配置，具体参数信息如下。 表3 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。
on: Message stream modified (41) 解决方案 编辑“krb5.conf” 配置文件，将文件中所有“renew_lifetime = xxx”配置删除。重新创建和提交Spark作业。 父主题： 对接HBase
弹性资源池至少可以满足弹性资源池中所有队列按最小CU运行，尽量满足队列按最大CU运行。 规格（包周期CU）：购买弹性资源池时选择的CU范围的最小值即弹性资源池规格。规格是包周期弹性资源池特有的。规格部分以包周期的计费，规格之外的部分按需计费。 数据库 数据库即按照数据结构来组织、存储和管理数据的
OpenSource SQL作业。 单击操作列的“编辑”，进入作业编辑页面。 在右侧的“运行参数”配置区域，选择新的Flink版本。 使用Flink 1.15以上版本的引擎执行作业时，需要在自定义配置中配置委托信息，其中key为"flink.dli.job.agency.name"，valu
jar作业可以通过两种方式来读取Hudi表：Spark datasource API 或者通过 SparkSession 提交 SQL。 配置项 hoodie.datasource.query.type 需要配置为 snapshot（snapshot同时也是默认值，因此可以缺省）。 object HudiDemoScala
设置多版本备份数据保留周期 功能描述 在DLI数据多版本功能开启后，备份数据默认保留7天，您可以通过配置系统参数“dli.multi.version.retention.days”调整保留周期。保留周期外的多版本数据后续在执行insert overwrite或者truncate语
createDLITable(Database database) throws DLIException { //构造表列集合，通过实例化Column对象构建列 List<Column> columns = new ArrayList<Column>(); Column
SQL作业或者Flink Jar作业时，可以在作业编辑页面，勾选“保存作业日志”参数，将作业运行时的日志信息保存到OBS。 勾选“保存作业日志”参数后，需配置“OBS桶”参数，选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态，需要单击“OBS授权”。 日志信息的保存路径为：“
建议使用临时AK/SK，获取方式可参见统一身份认证服务_获取临时AK/SK。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 表1 DLI获取访问凭据相关开发指南 类型 操作指导 说明 Flink作业场景 Flink
洞（CNVD-2022-40233）等。 一旦发现服务模块涉及漏洞影响，会迅速通过官方解决方案升级现网更新漏洞。 更新配置 DLI云服务通过版本更新升级更新配置，确保服务的安全性和稳定性。 父主题： 安全
规则1：_可以用来匹配单个任意字符。 规则2：%可以用来匹配0个或者任意个任意字符。 规则3：* 可以用来匹配0个或者任意个任意字符。 规则4：|可以用来配置多种规则，规则之间用“|”分隔。 规则5：当想将“_”作为匹配条件时，可以使用ESCAPE 指定一个转义字符，对“_”进行转义，以免按照规则1对“_”进行解析。
当该参数配置时则从配置的时间开始读取数据，有效格式为yyyy-MM-dd HH:mm:ss。 当没有配置start-time也没配置offset的时候，读取最新数据。 connector. enable-checkpoint 否 是否启用checkpoint功能，可配置为true（启用）或者false（停用），
权。 Java SDK 支持 Java JDK 1.8 及其以上版本。关于Java开发环境的配置请参考Java SDK环境配置。 关于Java SDK的获取与安装请参考SDK的获取与安装。 使用SDK工具访问DLI，需要用户初始化DLI客户端。用户可以使用AK/SK(Access
在控制台顶部菜单栏中选择“资源 > 我的资源”。 进入我的资源页面。 在搜索条件中选择按名称搜索，并输入1.c获取的实例名称，单击图标搜索资源信息。 图1 按名称搜索资源 复制资源ID。 图2 复制实例ID 根据上报账单的资源ID在费用中心查看资源账单。 在控制台顶部菜单栏中选择“费用与成本 > 费用账单”。
Flink作业模板相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 新建作业模板 DLI提供新建Flink作业模板的接口。您可以使用该接口新建一个Flink作业模板。示例代码如下： 1 2 3 4
Spark作业模板的创建方法是在创建Spark作业时，可直接将配置完成的作业信息设置为模板。 在DLI管理控制台的左侧导航栏中，单击“作业模板”>“Spark模板”，页面跳转至Spark作业页面。 参考创建Spark作业配置作业参数。 作业编辑完成后，单击“设为模板”。 输入模板名称和描述信息。
表1 聚合函数表 函数 返回值类型 描述 COUNT([ ALL ] expression | DISTINCT expression1 [, expression2]*) BIGINT 返回表达式不为NULL的输入行数。对每个值的一个唯一实例使用DISTINCT。 COUNT(*)
表1 聚合函数表 函数 返回值类型 描述 COUNT([ ALL ] expression | DISTINCT expression1 [, expression2]*) BIGINT 返回表达式不为NULL的输入行数。对每个值的一个唯一实例使用DISTINCT。 COUNT(*)
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
