检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果开启安全模式,未开启https,需要配置用户名username、密码password,且语法中hosts字段值以http开头。 如果开启安全模式,开启https,需要配置用户名username、密码password、证书位置certificate。请注意该场景hosts字段值以https开头。
相应的认证类型。 CSS类型跨源认证:适用于“6.5.4”及以上版本的CSS集群且集群已开启安全模式。配置时需指定集群的用户名、密码、认证证书,通过跨源认证将以上信息存储到DLI服务中,便于DLI安全访问CSS数据源。详细操作请参考创建CSS类型跨源认证。 Kerberos类型的
key'时,支持copy及insert两种模式追加写入。 配置'primary key',支持copy、upsert以及insert三种模式更新写入。 注意:由于dws不支持更新分布列,因而配置的更新主键必须包含dws表中定义的所有分布列。 connector.write.flush.max-rows 否 数
测试比对SUT 系统的压力有非常大的增加,有多个查询语句组,同时有一对RF1 和RF2 更新流。 测试中测量的基础数据都与执行时间有关,这些时间又可分为:装载数据的每一步操作时间、每个查询执行时间和每个更新操作执行时间,由这些时间可计算出:数据装载时间、Power@Size、Throughput@Size、QphH@Size
参数名称 描述 用户名 被授权的用户名称。 说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 权限设置 更新:当前用户可更新弹性资源池的描述信息。 资源管理:当前用户可在弹性资源池上添加队列、删除队列、操作队列的扩缩容策略配置。 删除:当前用户可删除此弹性资源池。
TB级数据实现秒级响应,极大提升了数据查询的效率。 Serverless资源开箱即用: Serverless服务模式无需关注底层配置、软件更新和故障问题,资源易维护,易扩展。 多种资源类型满足不同场景业务需求: 共享资源池:按量计费,提供极致的性价比资源。 独享资源池:提供独享资源池,满足高性能资源需求。
源作为时态表,请使用 streaming-source.monitor-interval 配置数据更新间隔。 示例 该示例展示了一个经典的业务流水线,维度表来自 Hive,每天通过批处理流水线作业或 Flink 作业更新一次,kafka流来自实时在线业务数据或日志,需要与维度表连接以扩充流。 使用spark
name 否 String 队列名称。 err_msg 否 String 状态为失败时的详细报错信息。 update_time 否 Long 更新时间。 表4 hosts参数说明 参数名称 是否必选 参数类型 说明 name 否 String 自定义主机名称。 ip 否 String
介绍提交Spark作业、查询所有Spark作业、删除Spark作业等Java SDK使用说明。 Flink作业模板相关 介绍新建Flink作业模板、更新Flink作业模板、删除Flink作业模板的JavaSDK使用说明。 Python 队列相关 介绍查询所有队列的Python SDK使用说明。
Hive Read & Write。 虽然所有Hive版本支持相同的语法,但是一些特定的功能对Hive版本有依赖,请参考Hive 版本。 例如,更新数据库位置 只在 Hive-2.4.0 或更高版本支持。 执行DML和DQL时应该使用HiveModule 。 从Flink 1.15版本
参数名称 是否必选 参数类型 说明 create_time 否 Long 资源包上传的unix时间戳。 update_time 否 Long 更新已上传资源包的unix时间戳。 resource_type 否 String 资源类型。 resource_name 否 String 资源名。
"obs://bucket-name/dir/savepoint/" } 响应示例 { "is_success": true, "message": "作业更新成功" } 状态码 状态码 描述 200 修改成功。 400 请求错误。 500 内部服务器错误。 错误码 请参见错误码。 父主题: Flink作业管理相关API
全局变量授权 表2 全局变量参数说明 参数名称 描述 用户名 被授权的IAM用户的名称。 说明: 该用户名称是已存在的IAM用户名称。 权限设置 更新:更新该全局变量。 删除:删除该全局变量。 赋权:当前用户可将全局变量的权限赋予其他用户。 回收:当前用户可回收其他用户具备的该全局变量的权限,但不能回收该全局变量所有者的权限。
该用户名称是已存在的IAM用户名称。并且该用户需要登录过华为云,才能进行授权操作。 权限设置 全选:所有的权限都勾选上。 查看作业详情:查看此作业的作业详情。 更新作业:编辑修改此作业。 删除作业:删除此作业。 启动作业:启动该作业权限。 停止作业:停止该作业。 导出作业:导出该作业。 赋权:当前用户可将作业的权限赋予其他用户。
等,这可能引起数据倾斜。 Clustering不支持和Upsert(写操作更新待Clustering的文件)并发,如果Clustering处于inflight状态,该FileGroup下的文件不支持被更新。 如果存在未完成的Clustering计划,后续写入触发生成Compact
SMN-订阅主题。 添加订阅后,消息通知服务会向订阅终端发送订阅确认信息,信息中包含订阅确认的链接。订阅确认的链接在48小时内有效,用户需要及时在手机端、邮箱或其他协议终端确认订阅。 在AOM管理控制台创建告警行动规则。 创建告警行动规则并关联SMN主题与消息模板,当日志、资源或指标数据
介绍提交Spark作业、查询所有Spark作业、删除Spark作业等Java SDK使用说明。 Flink作业模板相关 介绍新建Flink作业模板、更新Flink作业模板、删除Flink作业模板的JavaSDK使用说明。 父主题: Java SDK
全局配置 > 服务授权”。 在委托设置页面,勾选基础使用、跨源场景、运维场景的委托权限后,单击“更新委托权限”。 查看并了解更新委托的提示信息,单击“确定”。完成DLI委托权限的更新。 图1 配置DLI委托访问授权 完成配置后,在IAM控制台的委托列表中,可查看到dli_management_agency的委托信息。
name 否 String 队列名称。 err_msg 否 String 状态为失败时的详细报错信息。 update_time 否 Long 更新时间。 表6 elastic_resource_pools参数说明 参数名称 是否必选 参数类型 说明 peer_id 否 String 跨源连接ID。
rk/Flink引擎可能会导致作业因依赖冲突而执行失败。 计算引擎版本生命周期 表1给出了DLI计算引擎版本生命周期,帮助您规划自己的版本更新节奏。 表1 DLI计算引擎版本生命周期 计算引擎类型 版本名称 状态 EOM时间 EOS时间 Flink DLI Flink 1.15 已发布