检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
connector.write.exclude-update-columns 否 默认值为空(默认忽略primary key字段),表示更新主键值相同的数据时,忽略指定字段的更新 注意事项 无 示例 将流jdbcSink的数据输出到MySQL数据库中。 1 2 3 4 5 6 7 8
DLI委托 权限名 类型 权限说明 dli_admin_agency 系统默认委托 该委托已废弃,不推荐使用,请尽快更新委托升级至dli_management_agency。 更新委托请参考配置DLI云服务委托权限。 dli_management_agency 系统默认委托 DLI系统委
Kafka消息写入(表示对应 key 的消息被删除)。Flink将根据主键列的值对数据进行分区,从而保证主键上的消息有序,因此同一主键上的更新/删除消息将落在同一分区中。 前提条件 确保已创建Kafka集群。 该场景作业需要运行在DLI的独享队列上,因此要与Kafka集群建立增强
Kafka消息写入(表示对应 key 的消息被删除)。Flink将根据主键列的值对数据进行分区,从而保证主键上的消息有序,因此同一主键上的更新/删除消息将落在同一分区中。 前提条件 确保已创建Kafka集群。 该场景作业需要运行在DLI的独享队列上,因此要与Kafka集群建立增强
key'时,支持copy及insert两种模式追加写入。 配置'primary key',支持copy、upsert以及insert三种模式更新写入。 注意:由于dws不支持更新分布列,因而配置的更新主键必须包含dws表中定义的所有分布列。 connector.write.flush.max-rows 否 数
key'时,支持copy及insert两种模式追加写入。 配置'primary key',支持copy、upsert以及insert三种模式更新写入。 注意:由于dws不支持更新分布列,因而配置的更新主键必须包含dws表中定义的所有分布列。 connector.write.flush.max-rows 否 数
测试比对SUT 系统的压力有非常大的增加,有多个查询语句组,同时有一对RF1 和RF2 更新流。 测试中测量的基础数据都与执行时间有关,这些时间又可分为:装载数据的每一步操作时间、每个查询执行时间和每个更新操作执行时间,由这些时间可计算出:数据装载时间、Power@Size、Throughput@Size、QphH@Size
参数名称 描述 用户名 被授权的用户名称。 说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 权限设置 更新:当前用户可更新弹性资源池的描述信息。 资源管理:当前用户可在弹性资源池上添加队列、删除队列、操作队列的扩缩容策略配置。 删除:当前用户可删除此弹性资源池。
源作为时态表,请使用 streaming-source.monitor-interval 配置数据更新间隔。 示例 该示例展示了一个经典的业务流水线,维度表来自 Hive,每天通过批处理流水线作业或 Flink 作业更新一次,kafka流来自实时在线业务数据或日志,需要与维度表联接以扩充流。 使用spark
name 否 String 队列名称。 err_msg 否 String 状态为失败时的详细报错信息。 update_time 否 Long 更新时间。 表4 hosts参数说明 参数名称 是否必选 参数类型 说明 name 否 String 自定义主机名称。 ip 否 String
介绍提交Spark作业、查询所有Spark作业、删除Spark作业等Java SDK使用说明。 Flink作业模板相关 介绍新建Flink作业模板、更新Flink作业模板、删除Flink作业模板的JavaSDK使用说明。 Python 队列相关 介绍查询所有队列的Python SDK使用说明。
Hive Read & Write。 虽然所有Hive版本支持相同的语法,但是一些特定的功能对Hive版本有依赖,请参考Hive 版本。 例如,更新数据库位置 只在 Hive-2.4.0 或更高版本支持。 执行DML和DQL时应该使用HiveModule 。 从Flink 1.15版本
"obs://bucket-name/dir/savepoint/" } 响应示例 { "is_success": true, "message": "作业更新成功" } 状态码 状态码 描述 200 修改成功。 400 请求错误。 500 内部服务器错误。 错误码 请参见错误码。 父主题: Flink作业管理相关API
参数名称 是否必选 参数类型 说明 create_time 否 Long 资源包上传的unix时间戳。 update_time 否 Long 更新已上传资源包的unix时间戳。 resource_type 否 String 资源类型。 resource_name 否 String 资源名。
全局变量授权 表2 全局变量参数说明 参数名称 描述 用户名 被授权的IAM用户的名称。 说明: 该用户名称是已存在的IAM用户名称。 权限设置 更新:更新该全局变量。 删除:删除该全局变量。 赋权:当前用户可将全局变量的权限赋予其他用户。 回收:当前用户可回收其他用户具备的该全局变量的权限,但不能回收该全局变量所有者的权限。
该用户名称是已存在的IAM用户名称。并且该用户需要登录过华为云,才能进行授权操作。 权限设置 全选:所有的权限都勾选上。 查看作业详情:查看此作业的作业详情。 更新作业:编辑修改此作业。 删除作业:删除此作业。 启动作业:启动该作业权限。 停止作业:停止该作业。 导出作业:导出该作业。 赋权:当前用户可将作业的权限赋予其他用户。
primary_key 否 如果想通过主键实时更新表中的数据,需要在创建数据表的时候增加primary_key配置项,如下面例子中的c_timeminute。配置primary_key后,在进行数据写入操作时,如果primary_key存在,则进行更新操作,否则进行插入操作。 示例: 1 2
primary_key 否 如果想通过主键实时更新表中的数据,需要在创建数据表的时候增加primary_key配置项,如下面例子中的c_timeminute。配置primary_key后,在进行数据写入操作时,如果primary_key存在,则进行更新操作,否则进行插入操作。 示例: 1 2
primary_key 否 如果想通过主键实时更新表中的数据,需要在创建数据表的时候增加primary_key配置项,如下面例子中的c_timeminute。配置primary_key后,在进行数据写入操作时,如果primary_key存在,则进行更新操作,否则进行插入操作。 示例: CREATE
primary_key 否 如果想通过主键实时更新表中的数据,需要在创建数据表的时候增加primary_key配置项,如下面例子中的c_timeminute。配置primary_key后,在进行数据写入操作时,如果primary_key存在,则进行更新操作,否则进行插入操作。 示例: CREATE