检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
RS集群认证凭证,包括“krb5.conf”和“user.keytab”文件。详细操作请参考创建Kerberos跨源认证。 Kafka_SSL类型的跨源认证:适用于开启SSL的Kafka,配置时需指定KafkaTruststore路径和密码。详细操作请参考创建Kafka_SSL类型跨源认证。
标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格,不能以_sys_开头。 value 是 String 说明: 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格。 响应消息
成功返回200。 响应参数 无响应参数。 示例 请求样例: None 成功响应样例: None 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,详细介绍请参见错误码。 父主题: 集群相关API(废弃)
pkg_saa_out_bound_monitor_p_saa_outbound_order_cust_sum 这个函数里面有delete 和 insert SAA_OUTBOUND_ORDER_CUST_SUM的操作。 处理步骤 修改作业逻辑,避免对同一张表并发执行insert overwrite操作。
“Spark模板”,页面跳转至Spark作业页面。 参考创建Spark作业配置作业参数。 作业编辑完成后,单击“设为模板”。 输入模板名称和描述信息。 设置模板的分组信息。便于模板的统一管理。 单击“确定”,完成Spark模板的创建。 父主题: 使用DLI提交Spark作业
标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : +-@,但首尾不能含有空格,不能以_sys_开头。 value 是 String 值。 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : +-@,但首尾不能含有空格。 资源标签可以为空。
标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : +-@,但首尾不能含有空格,不能以_sys_开头。 values 是 Array of strings 值列表。 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : +-@,但首尾不能含有空格。
参数类型 说明 id 否 Long 扩缩容计划的ID编号。 plan_name 否 String 队列扩缩容计划名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 target_cu 否 Integer 队列扩缩容计划CU的目标值。 start_hour 否
机发送消息通知,方便客户及时感知异常。 图4 作业异常告警 勾选“开启Checkpoint”,依据自身业务情况调整Checkpoint间隔和模式。Flink Checkpoint机制可以保证Flink任务突然失败时,能够从最近的Checkpoint进行状态恢复重启。 图5 checkpoint参数
Multi-INSERT语句查询性能提升。 切换至新版本对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到DLI Spark 3.1.1版本? 在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。 单击“作业管理 > Spark作业”,新建Spark作业。
and `_hoodie_commit_time`<='20210308212318'; // 结果必须根据start.timestamp和end.timestamp进行过滤,如果没有指定end.timestamp,则只需要根据start.timestamp进行过滤。 提交其他S
天到end_time的数据(end_time最大不能大于当前时间30天)。 查询当前时间点前15天到当前时间点的数据(start_time和end_time同时为空)。 end_time 否 Long end_time用于查询扩缩容历史的结束时间,该时间点不能小于开始时间,不能大
机发送消息通知,方便客户及时感知异常。 图4 作业异常告警 勾选“开启Checkpoint”,依据自身业务情况调整Checkpoint间隔和模式。Flink Checkpoint机制可以保证Flink任务突然失败时,能够从最近的Checkpoint进行状态恢复重启。 图5 checkpoint参数
Spark3.3.1基础镜像内置了3.1.62版本的huaweicloud-sdk-core。 准备环境 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 pom文件配置中依赖包 <dependency> <groupId>com.huaweicloud
Multi-INSERT语句查询性能提升。 切换至新版本对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到DLI Spark 2.4.5版本? 在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。 单击“作业管理 > Spark作业”,新建Spark作业。
配置为true时,即根据算子ID和流量预估作业消耗资源。 static_estimator_config 否 String 每个算子的流量/命中率配置,json格式的字符串。 当static_estimator为true时需要配置该参数,配置时传入算子ID和算子流量配置。 可先行调用该
参考增强型跨源连接,在DLI上根据MySQL和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接,并绑定所要使用的Flink弹性资源池。 设置MySQL和Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据MySQL和Kafka的地址测试队列连通性
成功响应样例: { "is_success": true, "message": "" } 调用API出错后,将不会返回上述结果,而是返回错误码和错误信息,详细介绍请参见错误码。 父主题: SQL作业相关API(废弃)
及线下数据库的异构数据进行探索。 您可以使用本文档提供API对数据湖探索进行相关操作,包括队列、SQL作业、Flink作业、Spark作业和跨源连接等等。支持的全部操作请参见API概览。 在调用数据湖探索API之前,请确保已经充分了解数据湖探索相关概念。详细信息请参见产品介绍。 父主题:
@Override public void close() {} } 使用示例 UDTF支持CROSS JOIN和LEFT JOIN,在使用UDTF时需要带上 LATERAL 和TABLE 两个关键字。 CROSS JOIN:对于左表的每一行数据,假设UDTF不产生输出,则这一行不进行输出。