检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sink.buffer-flush.max-rows 否 100 Integer 每次写入请求缓存的最大行数。 它能提升写入数据的性能，但是也可能增加延迟。 设置为 "0" 关闭此选项。
sink.buffer-flush.max-rows 否 100 Integer 每次写入请求缓存的最大行数。 它能提升写入数据的性能，但是也可能增加延迟。 设置为 "0" 关闭此选项。
数据传输安全 用户个人敏感数据将通过TLS 1.2、TLS1.3进行传输中加密，所有华为云DLI服务的API调用都支持 HTTPS 来对传输中的数据进行加密。 Spark作业传输通信加密 Spark作业支持通过配置表1中的参数开启通信加密。
响应参数 表5 响应参数 名称 是否必选 参数类型 说明 total_count 是 Integer 总记录数。
//指定Hudi表索引类型为BUCKET 'hoodie.bucket.index.num.buckets'='10', //指定bucket桶数
projectId指项目编号，从华为云“基本信息>我的凭证”页面获取项目编号。 “？”
sink.buffer-flush.max-rows 否 100 Integer 写数据时刷新数据的最大行数，默认值为100。
如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 DWS结果表中不允许指定所有属性为PRIMARY KEY。
sink end算子的接受记录数为checkpoint的个数，非实际的发送数据，实际发送数据量请参考streaming-writer或StreamingFileWriter算子的记录数。
flink_jobmanager_Status_JVM_Memory_Metaspace_Max JobManager MetaSpace内存池中可以使用的最大内存量 flink_jobmanager_Status_JVM_Memory_Direct_Count JobManager direct缓冲池中的缓冲区数
fetchsize 读取数据时，每一批次获取数据的记录数，默认值1000。设置越大性能越好，但占用内存越多，该值设置过大会有内存溢出的风险。 batchsize 写入数据时，每一批次写入数据的记录数，默认值1000。
bad_row_count Long Insert作业执行过程中扫描到的错误记录数。 input_size Long 作业执行过程中扫描文件的大小，单位字节。 result_count Integer 当前作业返回的结果总条数或insert作业插入的总条数。
num_rows 否 Long 该分区数据总行数。 num_files 否 Long 分区文件数。 total_size 否 Long 该分区总的数据大小（单位：字节）。
sink end算子的接受记录数为checkpoint的个数，非实际的发送数据，实际发送数据量请参考streaming-writer或StreamingFileWriter算子的记录数。
fetchsize 读取数据时，每一批次获取数据的记录数，默认值1000。设置越大性能越好，但占用内存越多，该值设置过大会有内存溢出的风险。 batchsize 写入数据时，每一批次写入数据的记录数，默认值1000。
total_count 是 Integer 总记录数。 表7 resource字段数据结构说明 名称 是否必选 参数类型 说明 resource_id 是 String 资源ID。 resource_detail 是 Object 资源详情。该字段属于扩展字段，默认为空。
图11 示例数据统计演示 考虑在对应key值上添加concat(cast(round(rand() * 999999999) as string)随机数进行打散。 如果确实因为单个key值倾斜严重且不可对key值拼接随机值打散，则参考执行SQL作业时产生数据倾斜怎么办？处理。
column_count 是 Integer 表的总列数。 columns 是 Array of Objects 表的列信息，包含列名称、类型和描述信息。具体参数详见表3。 table_type 是 String 表类型，包括： “MANAGED”：DLI表。
rows-per-second 否 10000 Long 每秒生成的行数，用以控制数据发出速率。 fields.#.kind 否 random String 指定 '#' 字段的生成器。 '#' 字段必须是DataGen表中的字段，实际使用时需要将'#'替换为相应字段名。
scan.fetch-size 否 每次从数据库拉取数据的行数。默认值为0，表示忽略该提示。 lookup.cache.max-rows 否 维表配置，缓存的最大行数，超过该值时，最先添加的数据将被标记为过期。-1表示不使用缓存。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
