检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
_PARTITION__”，当前Spark判断分区为空时，则会直接返回null，不返回具体的数据。 解决方案 登录DLI管理控制台，在“SQL编辑器”中，单击“设置”。 在参数设置中，添加参数“spark.sql.forcePartitionPredicatesOnPartitionedTable
查看表属性 功能描述 查看表的属性。 语法格式 1 SHOW TBLPROPERTIES table_name [('property_name')]; 关键字 TBLPROPERTIES：TBLPROPERTIES子句允许用户给表添加key/value的属性。 参数说明 表1 参数说明
table_reference; 关键字 alias：用于对attr_expr中的字段名称起别名。 AS：是否添加此关键字不会影响结果。 注意事项 所要查询的表必须是已经存在的，否则会出错。 别名的命名必须在别名的使用之前，否则会出错。此外，建议不要重名。 示例 先通过子查询SELECT
TE BY 1”，可以将多个task生成的多个文件汇总为一个文件。 操作步骤 在管理控制台检查对应SQL作业详情中的“结果条数”是否正确。 检查发现读取的数据量是正确的。 图1 检查读取的数据量 确认客户验证数据量的方式是否正确。客户验证的方式如下： 通过OBS下载数据文件。 通
Opensource SQL, 采用Flink 1.10版本。初期Flink作业规划的Kafka的分区数partition设置过小或过大，后期需要更改Kafka区分数。 解决方案 在SQL语句中添加如下参数： connector.properties.flink.partition-discovery
一个“键”只能添加一个“值”。 每个资源中的键名不能重复。 标签键：在输入框中输入标签键名称。 说明： 标签的键的最大长度为128个字符，标签的键可以包含任意语种字母、数字、空格和_ . : +-@ ,但首尾不能含有空格，不能以_sys_开头。 标签值：在输入框中输入标签值。 说明：
作。 在弹性资源池中添加队列 创建完弹性资源池后，弹性资源池需要添加一个或多个队列用于后续作业的运行。本节操作介绍在弹性资源池中添加队列的操作步骤。 添加到弹性资源池中的队列不再单独计费，以弹性资源池为计费项计费。 当弹性资源池添加队列时会引起弹性资源CUs扩缩容变化。 在左侧导
若需要使用upsert模式，则必须在DWS结果表和该结果表连接的DWS表都定义主键。 若DWS在不同的schema中存在相同名称的表，则在flink opensource sql中需要指定相应的schema。 提交Flink作业前，建议勾选“保存作业日志”参数，在OBS桶选项中选择日志保存的位置，方便后续作业提交失败或运行异常时，查看日志并分析问题原因。
REPLACE，或者替换所有作业中的函数F1为F2。 需要重启Spark SQL队列后新创建的自定义函数F2生效 需要重启Spark SQL队列，影响当前运行的作业。 重启队列后，影响F1原有功能，F1的功能变为和F2一样。 场景二 在原有程序包类的基础上新增了类，新创建的函数指定为新增的类，包名不变。
示例3：使用CTAS将源表的全部数据或部分数据创建新的DLI表 示例说明：根据示例1：创建DLI非分区表中创建的DLI表table1，使用CTAS语法将table1中的数据复制到table1_ctas表中。 在使用CTAS建表的时候，可以忽略被复制的表在建表时所使用的语法，即不论在创建tabl
组合Rowkey只支持String类型，在使用组合Rowkey时，每个属性后面必须带上长度。当Rowkey指定的字段只有一个的时候，该字段的类型可以是支持的所有数据类型，并且不需要填写长度。 在组合Rowkey的场景中 插入Rowkey数据时，如果某个属性的实际数据的长度比属性作为Rowkey时指定的长度要短，
如果选择“短信”协议，需要在“订阅终端”中填写接收确认短信的手机号码。 如果选择“邮件”协议，需要在“订阅终端”中填写接收确认邮件的邮箱地址。 更多信息，请参考《消息通知服务用户指南》中《添加订阅》章节。 图4 添加订阅 通过单击短信或者邮件中的链接确认后，将收到“订阅成功”的信息。 在消息通知服务的“订阅”页
sink 算子的并行度。默认情况下，并行度由框架定义为与上游串联的算子相同。 元数据 您可以在源表中定义元数据，以获取Kafka消息的元数据。 例如，当WITH参数中定义了多个topic时，如果在Kafka源表中定义了元数据，那么Flink读取到的数据就会被标识是从哪个topic中读取的数据。
功能描述 在DLI数据多版本功能开启后，备份数据默认保留7天，您可以通过配置系统参数“dli.multi.version.retention.days”调整保留周期。保留周期外的多版本数据后续在执行insert overwrite或者truncate语句时会自动进行清理。在添加列或者修改分区表时，也可以设置表属性“dli
3及以上版本的引擎执行作业时，当您所需的委托没有包含在DLI系统委托dli_management_agency时，您需要在IAM页面创建相关委托，并在作业配置中添加新建的委托信息。dli_management_agency包含跨源操作、消息通知、用户授权操作所需的权限，除此之外的其他委
单击“提交”完成弹性资源池的创建。 在弹性资源池的列表页，选择要操作的弹性资源池，单击操作列的“添加队列”。 配置队列的基础配置，具体参数信息如下。 表4 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。 dli_queue_01 类型 选择创建的队列类型。
地理大数据分析 地理大数据分析 地理大数据具有大数据的相关特征，数据体量巨大，例如，全球卫星遥感影像数据量达到PB级。数据种类多，有结构化的遥感影像栅格数据、矢量数据，非结构化的空间位置数据、三维建模数据；在大体量的地理大数据中，通过高效的挖掘工具或者挖掘方法实现价值提炼，是用户非常关注的话题。
单击需导出数据的表对应的数据库，进入该数据的“表管理”页面。 在对应表（DLI表）的“操作”栏中选择“更多”中的“导出”，弹出“导出数据”页面。 在“SQL编辑器”页面导出数据。 在管理控制台左侧，单击“SQL编辑器”。 在左侧导航栏选择“数据库”页签，鼠标左键单击需要导出数据的表对应的数据库名，进入“表”区域。
DLI侧创建的Password类型的跨源认证名称。 使用跨源认证则无需在作业中配置账号和密码。 示例 从Kafka源表中读取数据，将DWS表作为维表，并将二者生成的宽表信息写入Kafka结果表中，其具体步骤如下： 参考增强型跨源连接，在DLI上根据DWS和Kafka所在的虚拟私有云
”。 选择待添加路由的增强型跨源连接，并删除路由。 方法一： 选择待删除的增强型跨源连接，单击操作列的“路由信息”。 选择待删除的路由信息，单击操作列的“删除”。 单击“确定”。 方法二： 选择待删除的增强型跨源连接，单击操作列的“更多 > 删除路由”。 选择待删除的路由信息， 单击“是”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
