检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
写入的文件格式，支持按CSV、Parquet、ORC、JSON、Avro格式。 file_format为csv时，options参数可以参考表3。 注意事项 通过配置“spark.sql.shuffle.partitions”参数可以设置非DLI表在OBS桶中插入的文件个数，同时，为了避免数据倾斜，在I
写入的文件格式，支持按CSV、Parquet、ORC、JSON、Avro格式。 file_format为csv时，options参数可以参考表3。 注意事项 通过配置“spark.sql.shuffle.partitions”参数可以设置非DLI表在OBS桶中插入的文件个数，同时，为了避免数据倾斜，在I
和parquet时需配置，表明一个文件最多存储记录数，当达到最大值，则另起新文件。 dump_interval 否 触发周期， 当编码格式为orc或者配置了DIS通知提醒时需进行配置。 在orc编码方式中，该配置表示周期到达时，即使文件记录数未达到最大个数配置，也将文件上传到OBS上。
和parquet时需配置，表明一个文件最多存储记录数，当达到最大值，则另起新文件。 dump_interval 否 触发周期， 当编码格式为orc或者配置了DIS通知提醒时需进行配置。 在orc编码方式中，该配置表示周期到达时，即使文件记录数未达到最大个数配置，也将文件上传到OBS上。
化漏洞（CNVD-2022-40233）等，如发现服务模块涉及漏洞影响，会迅速通过官方解决方案升级现网更新漏洞。 更新配置 DLI云服务通过版本更新升级更新配置。 父主题： 安全
盖了全量数据而不是预期的分区数据，这可能是因为动态分区覆盖功能没有被启用。 如果需要动态覆盖DataSource表指定的分区数据，您需要先配置参数 dli.sql.dynamicPartitionOverwrite.enabled=true，然后通过insert overwrite语句实现。
start_time 否 DIS数据读取起始时间。 当该参数配置时则从配置的时间开始读取数据，有效格式为yyyy-MM-dd HH:mm:ss。 当没有配置start_time也没配置offset的时候，读取最新数据。 当没有配置start_time但配置了offset的时候，则从offset开始读取数据。
start_time 否 DIS数据读取起始时间。 当该参数配置时则从配置的时间开始读取数据，有效格式为yyyy-MM-dd HH:mm:ss。 当没有配置start_time也没配置offset的时候，读取最新数据。 当没有配置start_time但配置了offset的时候，则从offset开始读取数据。
运行Spark作业，作业运行失败，作业日志中提示No respond错误 解决方案 重新创建Spark作业，创建作业时需要在“Spark参数（--conf）”中添加配置：“spark.sql.mrs.opentsdb.ssl.enabled=true”。 父主题： 对接OpenTSDB
partition_spec 否 Object 表示需要导入到哪个分区。 不配置表示动态导入整表数据，导入的数据需要包含分区列的数据； 如果导入时，配置所有分区信息，则表示导入数据到指定分区，导入的数据不能包含分区列的数据； 如果导入时，配置了部分分区信息，而导入的数据必须包含非指定的分区数据，不能
num必须同时配置或者同时都不配置。 scan.partition.num 否 无 Integer 分区的个数。 与scan.partition.column、scan.partition.upper-bound、 scan.partition.upper-bound必须同时配置或者同时都不配置。
num必须同时配置或者同时都不配置。 scan.partition.num 否 无 Integer 分区的个数。 与scan.partition.column、scan.partition.upper-bound、 scan.partition.upper-bound必须同时配置或者同时都不配置。
endianness' 配置。 INT 采用 big-endian （默认）编码的四个字节。字节序可以通过 'raw.endianness' 配置。 BIGINT 采用 big-endian （默认）编码的八个字节。字节序可以通过 'raw.endianness' 配置。 FLOAT 采用
num必须同时配置或者同时都不配置。 scan.partition.num 否 无 Integer 分区的个数。 与scan.partition.column、scan.partition.upper-bound、 scan.partition.upper-bound必须同时配置或者同时都不配置。
当该参数配置时则从配置的时间开始读取数据，有效格式为yyyy-MM-dd HH:mm:ss。 当没有配置start-time也没配置offset的时候，读取最新数据。 connector. enable-checkpoint 否 是否启用checkpoint功能，可配置为true（启用）或者false（停用），
如何合并小文件 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 设置配置项。 spark.sql.shuffle.partitions = 分区数量（即此场景下最终生成的文件数量） 执行SQL。 INSERT OVERWRITE
on: Message stream modified (41) 解决方案 编辑“krb5.conf” 配置文件，将文件中所有“renew_lifetime = xxx”配置删除。重新创建和提交Spark作业。 父主题： 对接HBase
partition_key 否 数据输出分组主键，多个主键用逗号分隔。当该参数没有配置的时候则随机派发。 encode 是 数据编码格式，可选为“csv”、“json”和“user_defined”。 说明： 若编码格式为“csv”，则需配置“field_delimiter”属性。 若编码格式为“js
所在行的“操作”列，单击“编辑”进入SQL编辑器界面。 在SQL编辑器界面，单击“设置”，在“配置项”尝试添加以下几个Spark参数进行解决。 参数项如下，冒号前是配置项，冒号后是配置项的值。 spark.sql.enableToString:false spark.sql.adaptive
参数填写完成后，单击“立即购买”，在界面上确认当前配置是否正确。 单击“提交”完成弹性资源池的创建。 在弹性资源池的列表页，选择要操作的弹性资源池，单击操作列的“添加队列”。 配置队列的基础配置，具体参数信息如下。 表3 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
