检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
forcePartitionPredicatesOnPartitionedTable.enabled”，值设置为“false”。 图1 参数设置 上述步骤参数设置完成后，则可以进行全表查询，不用查询表的时候要包含分区字段。 父主题： DLI数据库和表类
即表中所有的字段都到对应到Cols和RowKey中，但是顺序可以任意。 组合Rowkey只支持String类型，在使用组合Rowkey时，每个属性后面必须带上长度。当Rowkey指定的字段只有一个的时候，该字段的类型可以是支持的所有数据类型，并且不需要填写长度。 在组合Rowkey的场景中
同时因为spark.sql.shuffle.partitions参数设置的并行度过大，导致缓存区大小不够而导入数据报错。 解决方案 建议可以尝试调小spark.sql.shuffle.partitions参数值来解决缓冲区不足问题。具体该参数设置步骤如下： 登录DLI管理控制台，单击“作业管理
csv.field-delimiter 否 ， String 字段分隔符 (默认',')，必须为单字符。您可以使用反斜杠字符指定一些特殊字符，例如 '\t' 代表制表符。 您也可以通过 unicode 编码在纯 SQL 文本中指定一些特殊字符，例如 'csv.field-delimiter'
select get_json_object('{"a":"\'3\'","b":"6"}', '$.a'); 一个JSON对象中可以出现相同的Key，可以成功解析。 返回1。 select get_json_object('{"b":"1","b":"2"}', '$.b'); 输
执行Flink或Spark作业请选择通用队列。 _ 执行引擎 SQL队列可以选择队列引擎为Spark或者HetuEngine。 _ 企业项目 选择对应的企业项目。 default 单击“下一步”，配置队列的扩缩容策略。 单击“新增”，可以添加不同优先级、时间段、“最小CU”和“最大CU”扩缩容策略。
控制数据的重复接入量（例如Spark初始化完成后，Flink消费Kafka时过滤掉2小时之前的数据），如果无法对kafka消息进行过滤，则可以考虑先实时接入生成offset，再truncate table ，再历史导入，再开启实时。 图1 初始化操作流程 如果批量初始化前表里已经存在数据且没有truncate
子网：选择步骤1：获取外部数据源的内网IP、端口和安全组获取的外部数据源的子网。 其他参数可以根据需要选择配置。 参数配置完成后，单击“确定”完成增强型跨源配置。单击创建的跨源连接名称，查看跨源连接的连接状态，等待连接状态为：“已激活”后可以进行后续步骤。 如果是连接MRS HBase，则还需要添加MRS的主机节点信息，具体步骤如下：
结束产生一个总的聚合结果，另外，窗口聚合会清除不需要的中间状态。 更多介绍和使用请参考开源社区文档：窗口聚合。 分组窗口的开始和结束时间戳可以通过 window_start 和 window_end 来选定。 窗口表值函数 Flink 支持在 TUMBLE， HOP 和 CUMULATE
包围起来。 partition_specs 分区信息，key=value形式，key为分区字段，value为分区值。若分区字段为多个字段，可以不包含所有的字段，会显示匹配上的所有分区信息。 注意事项 所要查看分区的表必须存在且是分区表，否则会出错。 示例 查看student表下面的所有的分区。
log”文件，搜索“RUNNING to FAILED”关键字，通过上下文的错误栈，确认失败原因。 如果“jobmanager.log”文件中的信息不足以定位，可以在运行日志中找到对应的“taskmanager.log”日志，搜索“RUNNING to FAILED”关键字，确认失败原因。 父主题： Flink作业性能调优类
面，在“状态”列中可以查看作业状态。 作业提交成功后，状态将由“提交中”变为“运行中”。运行完成后显示“已完成”。 如果作业状态为“提交失败”或“运行异常”，表示作业提交或运行失败。用户可以在作业列表中的“状态”列中，将鼠标移动到状态图标上查看错误信息，单击可以复制错误信息。根据错误信息解决故障后，重新提交。
TUMBLE窗口周期性触发，控制延迟 TUMBLE窗口结束之前，可以根据设置的触发频率周期性地触发窗口，输出从窗口开始时间到当前周期时间窗口内的计算结果值，但不影响最终窗口输出值，从而在窗口结束前的每个周期都可以看到最新的结果。 提高数据的精确性 在窗口结束后，允许设置延迟时间
行数据会被添加到当前的窗口），且如果在 30 分钟内没有观测到新纪录，这个窗口将会被关闭。会话时间窗口可以使用事件时间（批处理、流处理）或处理时间（流处理）。 窗口辅助函数 可以使用以下辅助函数选择组窗口的开始和结束时间戳以及时间属性。 辅助函数必须使用与GROUP BY 子句中的分组窗口函数完全相同的参数来调用。
说明： 标签的键的最大长度为128个字符，标签的键可以包含任意语种字母、数字、空格和_ . : +-@ ,但首尾不能含有空格，不能以_sys_开头。 标签值：在输入框中输入标签值。 说明： 标签值的最大长度为255个字符，标签的值可以包含任意语种字母、数字、空格和_ . : +-@
Managers”，单击对应的任务名称，选择“Stdout”查看作业运行日志。 方法二：如果在提交运行作业前“运行参数”选择了“保存作业日志”，可以通过如下操作查看。 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“O
》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上，因此要与DWS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。
ndex为database，type为table，但绝不等同）。 说明： ES 6.X版本中，单个Index只支持唯一type，type名可以自定义。 ES 7.X版本中，单个Index将使用“_doc”作为type名，不再支持自定义。若访问ES 7.X版本时，该参数只需要填写index即可。
"[0:2]"时，表示读取的分区范围是1-3，包括分区1、分区2和分区3，范围设置要在dis相应通道的范围内。 connector.offset 否 用户可以根据需求设置该参数的数值，读取数据的起始位置，与start-time不能同时设置。 connector.start-time 否 DIS数据读取从该起始时间的数据。
细粒度权限：dli:table:select 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功，查看任务结果，查看任务日志确认有无异常。 父主题： Hudi CALL COMMAND语法说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
