检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库：数据库是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。数据库通常用于存储、检索和管理结构化数据，由多个数据表组成，这些数据表通过键和索引相互关联。 · 表：表是数据库最重要的组成部分之一，它由行和列组成。每一行代表一个数据项，每一列代表数据的一个属性或特征。表用于组织和存储特定类型
of Strings 用户已上传到DLI资源管理系统的类型为pyFile的资源包名。也支持指定OBS路径，例如：obs://桶名/包名。 files 否 Array of Strings 用户已上传到DLI资源管理系统的类型为file的资源包名。也支持指定OBS路径，例如：obs://桶名/包名。
管理DLI具数据源的访问凭证： Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景 推荐使用数据加密服务DEW来存储数据源的认证信息，为您解决数据安全、密钥安全、密钥管理复杂等问题。 具体操作请参考使用DEW管理数据源访问凭证。 使用DEW管理数据源访问
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 data_path 是 String 导出数据的储存路径（当前仅支持将数据存储在OBS上）。另外，“export_mode”配置为“errorifexists”时，该路径下的文件夹须不存在，如请求样例中的“test”文件夹。
组成。 table_name Database中的表名，由字母、数字和下划线（_）组成。 obs_path Obs路径，表示Delta表的存储位置。 timestamp_expression 时间戳，不能晚于当前时间，格式'yyyy-MM-ddTHH:mm:ss.SSS' version_code
<col3>) as (<key1>,<key2>,...,<col1>, <col2>) 参数的数据类型 将一行数据转为多行的UDTF，将列中存储的以固定分隔符格式分隔的数组转为多行。 trunc_numeric trunc_numeric(<number>[, bigint<decimal_places>])
Database中的表名，由字母、数字和下划线（_）组成。 bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 constraint_name 约束名称。 boolExpression 约束条件表达式。 所需权限 SQL权限 表2 ADD CONSTRAINT所需权限列表
表的格式，在这里是delta id 表的唯一id name 在metaserver中定义的表名 description 关于表的说明 location 表的存储路径 createdAt 建表时间戳 lastModified 最后一次修改的时间戳 partitionColumns 分区列 numFiles
c”，“json”和“avro”。 data_location 否 String 数据存储的路径，为OBS路径。 storage_properties 否 Array of Objects 存储属性，以“key/value”的格式出现，包含delimiter，escape，quo
时间和日期类型 限制 时间和日期类型目前精确到毫秒。 表1 时间和日期类型 名称 描述 存储空间 DATE 日期和时间。仅支持ISO 8601格式：'2020-01-01' 32位 TIME 不带时区的时间（时、分、秒、毫秒） 例如：TIME '01:02:03.456' 64位
Spark应用的名称。 --queue <QUEUE_NAME> DLI服务端Spark队列名称，作业会提交到该队列中执行。 --py-files <PY_FILES> Spark应用依赖的Python程序文件名称，存在多个时使用","分隔。Python程序文件文件需要提前保存在client
source_table 源表名，由字母、数字和下划线（_）组成。 bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 constraint_name 约束名称。 boolExpression 约束条件表达式。 所需权限 SQL权限 表2 SHALLOW
SIMPLE | GLOBAL_SIMPLE] 。 布隆过滤器消除了对外部系统的依赖，并存储在Parquet数据文件的页脚中。 BLOOM hoodie.index.bloom.num_entries 存储在布隆过滤器中的条目数。 假设maxParquetFileSize为128MB，a
要获得访问和使用DIS（数据接入服务）DIS Administrator权限。 ctable_adm：访问和使用CloudTable（表格存储服务）的CloudTable Administrator权限。 vpc_netadm：使用VPC（虚拟私有云）的VPC Administrator权限。
15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据
浮点型 名称 描述 存储空间 取值范围 字面量 REAL 实数 32位 1.40129846432481707e-45 ~3.40282346638528860e+38，正或负 REAL DOUBLE 双精度浮点数，15到17个有效位，具体取决于使用场景，有效位位数并不取决于小数点位置
导致导入失败。 导入文件支持CSV，Parquet，ORC，JSON和Avro格式，且编码格式仅支持UTF-8。 前提条件 待导入的数据已存储到OBS上。 导入数据步骤 导入数据的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面导入数据。 在管理控制台的左侧，选择“数据管理”>“库表管理”。
元数据访问性能提升 提升Spark在处理大数据时的元数据访问性能，提高数据处理流程效率。 提升OBS committer小文件写性能 提升对象存储服务（OBS）在处理小文件写入时的性能，提高数据传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性，当shu
jar”。参考以下操作步骤上传该作业程序。 提交Spark作业之前，需要在OBS中上传数据文件。 登录管理控制台 在服务列表中，单击“存储”中的“对象存储服务OBS”，进入OBS管理控制台页面。 创建桶，这里以桶名“dli-test-obs01”为例。 单击“创建桶”。 进入“创建桶
T(subValue, length) ON TRUE; UDAF UDAF函数需继承AggregateFunction函数。首先需要创建一个用来存储计算结果的Accumulator，如示例里的WeightedAvgAccum。 编写代码示例 public class WeightedAvgAccum
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
