检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
host DCS的连接IP,需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 创建增强型跨源连接后,使用DCS提供的"连接地址"。"连接地址"有多个时,选择其中一个即可。 说明: 访问DCS目前只支持增强型跨源。 port DCS的连接端口,例如6379。 password
要去掉该标识。 设置spark.sql.autoBroadcastJoinThreshold=-1,具体操作如下: 登录DLI管理控制台,单击“作业管理 > SQL作业”,在对应报错作业的“操作”列,单击“编辑”进入到SQL编辑器页面。 单击“设置”,在参数设置中选择“spark
系统提示信息,执行成功时,信息可能为空。 请求示例 创建路由,自定义增强型跨源连接的下一跳的路由信息为127.0.0.0。 { "name": "route", "cidr": "127.0.0.0" } 响应示例 { "is_success": true, "message":
入延迟,因而进行不阻塞摄入的异步Compaction很有意义。 如何执行Compaction 仅执行Schedule Spark SQL(设置如下参数,写数据时触发) hoodie.compact.inline=true hoodie.schedule.compact.only.inline=true
在GaussDB(DWS) 控制台设置会话闲置超时时长session_timeout,在闲置会话超过所设定的时间后服务端将主动关闭连接。 session_timeout默认值为600秒,设置为0表示关闭超时限制,一般不建议设置为0。 session_timeout设置方法如下: 登录GaussDB(DWS)
System.out.println(result); } 查询作业APIG网关服务访问地址 DLI提供查询Flink作业APIG访问地址的接口。您可以使用该接口查询作业APIG网关服务访问地址。示例代码如下: 1 2 3 4 5 private static void ge
string TIME 以“HH:mm:ss”的形式返回从字符串解析的 SQL 时间。 TIMESTAMP string TIMESTAMP 以“yyyy-MM-dd HH:mm:ss[.SSS]”的形式返回从字符串解析的 SQL 时间戳。 INTERVAL string range
请勿将该OBS桶用作其它用途,避免出现作业结果混乱等问题。 OBS桶需要由用户主账户统一设置及修改,子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改,否则可能会造成历史数据无法查找。 操作步骤
PARTITIONS [catalog_name.][db_name.]table_name [PARTITION (partitionSpecs)]; 描述 这个表达式用于列出指定的的所有分区。 示例 SHOW PARTITIONS test PARTITION(hr = '12'
eckPoint间隔为分钟级。 checkpoint容忍失败次数设置,execution.checkpointing.tolerable-failed-checkpoints。 Flink On Hudi作业建议设置checkpoint容忍次数多次,如100。 若需要使用Hive风格分区,需同时配置如下参数:
"[0:2]"时,表示读取的分区范围是1-3,包括分区1、分区2和分区3,范围设置要在dis相应通道的范围内。 connector.offset 否 用户可以根据需求设置该参数的数值,读取数据的起始位置,与start-time不能同时设置。 connector.start-time 否 DIS数据读取从该起始时间的数据。
多会导致性能问题,所以元数据文件数量最好控制在1000以内。 如何执行Archive 写完数据后archive Spark SQL(set设置如下参数,写数据时触发) hoodie.archive.automatic=true hoodie.keep.max.commits=30
返回值 描述 DATE string DATE 将日期字符串以"yyyy-MM-dd"的形式解析为SQL日期。 TIME string TIME 将时间字符串以"HH:mm:ss[.fff]"形式解析为SQL时间。 TIMESTAMP string TIMESTAMP 将时间字符串转换
返回值 描述 DATE string DATE 将日期字符串以"yyyy-MM-dd"的形式解析为SQL日期。 TIME string TIME 将时间字符串以"HH:mm:ss[.fff]"形式解析为SQL时间。 TIMESTAMP string TIMESTAMP 将时间字符串转换
如果选择“短信”协议,需要在“订阅终端”中填写接收确认短信的手机号码。 如果选择“邮件”协议,需要在“订阅终端”中填写接收确认邮件的邮箱地址。 更多信息,请参考《消息通知服务用户指南》中《添加订阅》章节。 图4 添加订阅 通过单击短信或者邮件中的链接确认后,将收到“订阅成功”的信息。
通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库? 如何在DLI中运行复杂PySpark程序? 如何通过JDBC设置spark.sql
大CU。 同一队列不同扩缩容策略的时间段区间不能有交集。 弹性资源池队列中的扩缩容策略时间段仅支持整点的时间段设置,并且包含设置的开启时间,不包含设置的结束时间,例如设置时间段00-09,则时间段范围为:[00:00,09:00)。默认的扩缩容策略不支持时间段配置修改。 弹性资源
实例。 设置实例为默认实例 查看实例“基本信息”中“是否为默认实例”的参数值。 “true”表示当前实例为默认实例。 “false”表示当前实例不为默认实例。 如果需要设置当前实例为默认实例,请单击页面右上角“设为默认实例”。 勾选操作影响后单击“确定”,将当前实例设置为默认实例。
大CU。 同一队列不同扩缩容策略的时间段区间不能有交集。 弹性资源池队列中的扩缩容策略时间段仅支持整点的时间段设置,并且包含设置的开启时间,不包含设置的结束时间,例如设置时间段00-09,则时间段范围为:[00:00,09:00)。默认的扩缩容策略不支持时间段配置修改。 弹性资源
明细账单”,在筛选条件中选择“资源ID”,并输入1.e中获取的资源ID,单击图标即可搜索该资源的账单。 这里设置的统计维度为“按资源名称/ID”,统计周期为“按账期”,您也可以设置其他统计维度和周期,详细介绍请参见流水与明细账单。 查看数据存储的资源账单 DLI控制台并未展示数据存储