检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否异步上传资源包。 请求示例 从OBS上传jar包至DLI，并定义分组名称为gatk。 { "paths": [ "https://test.obs.xxx.com/test_dli.jar" ], "group": "gatk" } 响应示例 {
String kind = "jar"; String[] paths = new String[1]; paths[0] = "https://bucketname.obs.cn-north-1.myhuaweicloud.com/jarname.jar"; String
操作完成时间。 status String 扩缩容成功或者失败的状态。 fail_reason String 失败原因。 请求示例 GET https://{endpoint}/v3/{project_id}/elastic-resource-pools/{elastic_resour
理和更新，如果使用insert overwrite语法可能存在数据丢失风险。 "自读自写"是指在处理数据时能够读取数据，同时根据读取的数据生成新的数据或对数据进行修改。 使用Hive和Datasource（除Hudi外）表在执行数据修改类命令（例如insert into，load
暂不支持通过python写UDF、UDTF、UDAF自定义函数。 Flink Opensource SQL作业中使用自定义函数时，不支持生成静态流图。 POM依赖 <dependency> <groupId>org.apache.flink</groupId>
删除时tags结构体不能缺失，key不能为空，或者空字符串。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v3/{project_id}/{resource_type}/{re
rquet文件完成。 优点：读取时，只读取对应分区的一个数据文件即可，较为高效。 缺点：数据写入的时候，需要复制一个先前的副本再在其基础上生成新的数据文件，这个过程比较耗时。且由于耗时，读请求读取到的数据相对就会滞后。 Merge On Read 读时合并表也简称MOR表，使用列
是否异步上传资源包。 请求示例 从OBS上传python文件至DLI，并定义分组名称为gatk。 { "paths": [ "https://test.obs.xxx.com/dli_tf.py" ], "group": " gatk" } 响应示例 {
目前华为云支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 具体
云上：OBS。 云下：HDFS。 生态兼容 DLV、永洪BI、帆软。 大数据生态工具。 自定义镜像 支持，满足业务多样性。 无。 工作流调度 DataArts Studio-DLF调度。 自建大数据生态的调度工具，如Airflow。 企业级多租户 基于表的权限管理，可以精细化到列权限。
多个队列同时扩容时不能设置优先级，在资源不够时，会导致部分队列扩容申请失败。 您可以根据当前业务波峰和波谷时间段，设置各队列在弹性资源池中的优先级，保证资源的合理调配。 BI工具 对接永洪BI：与永洪BI对接实现数据分析。具体内容请参考《数据湖探索开发指南》。 DLI核心引擎：Spark+Flink+HetuEngine
插入数据时省略自增字段：在DLI中插入数据时，对于自增主键字段或其他自动填充的字段，您可以在插入语句中省略这些字段。数据库会自动为这些字段生成值。例如，如果表中有一个名为id的自增主键字段，您可以在插入数据时不包含这个字段，数据库会自动为新插入的行分配一个唯一的id值。 使用NU
DWS维表 功能描述 创建DWS表用于与输入流连接，从而生成相应的宽表。 前提条件 请务必确保您的账户下已在数据仓库服务（DWS）里创建了DWS集群。如何创建DWS集群，请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的
Spark3.3.1基础镜像内置了3.1.62版本的huaweicloud-sdk-core。 准备环境 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 pom文件配置中依赖包 <dependency> <groupId>com.huaweicloud.sdk</groupId>
Redis维表 功能描述 创建Redis表作为维表用于与输入流连接，从而生成相应的宽表。 前提条件 要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。
Redis维表 功能描述 创建Redis表作为维表用于与输入流连接，从而生成相应的宽表。 前提条件 要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。
下个checkpoint产生的数据。 示例1 使用datagen随机生成数据写入obs的bucketName桶下的fileName目录中。文件生成时间与checkpoint有关，达到30min或128MB时，生成新文件。 create table orders( name string
下个checkpoint产生的数据。 示例一 使用datagen随机生成数据写入obs的bucketName桶下的fileName目录中。文件生成时间与checkpoint无关，达到30min或128MB时，生成新文件。 create table orders( name string
创建OBS表。 该命令不会删除当前版本数据。 示例 删除dliTable表在2021-09-25 23:59:59之前生成的多版本数据（多版本生成时会自带一个生成时间时的时间戳）。 clear history for table dliTable older_than '2021-09-25
若读取DIS，且配置groupId，则需要提前在DIS的“App管理”中创建所需的App名称。 请勿将disToDis.properties放在生成的jar包中，在代码里有关于disToDis.properties的路径，如果放在jar包中，代码会找不到disToDis.properties路径。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
