检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String kind = "jar"; String[] paths = new String[1]; paths[0] = "https://bucketname.obs.cn-north-1.myhuaweicloud.com/jarname.jar"; String
操作完成时间。 status String 扩缩容成功或者失败的状态。 fail_reason String 失败原因。 请求示例 GET https://{endpoint}/v3/{project_id}/elastic-resource-pools/{elastic_resour
是否异步上传资源包。 请求示例 从OBS上传jar包至DLI,并定义分组名称为gatk。 { "paths": [ "https://test.obs.xxx.com/test_dli.jar" ], "group": "gatk" } 响应示例 {
String 数据库客户端的一个数字ID,该ID必须是MySQL集群中全局唯一的。建议针对同一个数据库的每个作业都设置一个不同的ID。 默认会随机生成一个5400~6400的值。 scan.startup.mode 否 initial String 消费数据时的启动模式。 initial
nk作业列表可以了解Flink作业的基本信息。 表2 Flink作业基本信息 参数 参数说明 ID 所提交Flink作业的ID,由系统默认生成。 名称 所提交Flink作业的名称。 类型 所提交Flink作业的类型。包括: Flink SQL:Flink SQL作业 Flink Jar:Flink
String 数据库客户端的一个数字ID,该ID必须是MySQL集群中全局唯一的。建议针对同一个数据库的每个作业都设置一个不同的ID。 默认会随机生成一个5400~6400的值。 scan.startup.mode 否 initial String 消费数据时的启动模式。 initial
是否异步上传资源包。 请求示例 从OBS上传python文件至DLI,并定义分组名称为gatk。 { "paths": [ "https://test.obs.xxx.com/dli_tf.py" ], "group": " gatk" } 响应示例 {
设置是否将作业运行时的日志信息保存到OBS桶。 勾选“保存作业日志”时,还需噢诶之OBS桶信息。 注意: 该参数建议勾选,否则作业运行完成后不会生成运行日志,后续如果作业运行异常则无法获取运行日志进行定位。 OBS桶 勾选“保存作业日志”时,该参数必选。 选择OBS桶用于保存用户作业日
容策略设置情况。 图3 弹性资源池队列扩缩容策略结果图形化 图4 弹性资源池队列扩缩容策略图像化展示 后续到了队列扩缩容策略配置的时间,会生成一个扩缩容任务。具体可以在“作业管理 > SQL作业”下查看作业类型为“SCALE_QUEUE”的作业。 父主题: 管理弹性资源池
cs的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 购买ecs集群,并下载5.5.2版本的confluent(https://packages.confluent.io/archive/5.5/)和jdk1.8.0_232,并上传到购买的ecs集群中,然后
cs的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 购买ecs集群,并下载5.5.2版本的confluent(https://packages.confluent.io/archive/5.5/)和jdk1.8.0_232,并上传到购买的ecs集群中,然后
HH:mm:ss’)。numeric 是一个内部 时间戳值,表示自'1970-01-01 00:00:00’ UTC 以来的秒数,由 UNIX_TIMESTAMP() 函数生成。返回值以会话时区表示 (在 TableConfig 中指定)。 例如,如果在 UTC 时区,FROM_UNIXTIME(44) 返回 ‘1970-01-01
T1; 测试数据和结果 表8 测试数据和结果 测试数据(content) 测试结果(case_result) https://www.testweb.com true https://www.testweb.com:443 true www.testweb.com:443 false
T1; 测试数据和结果 表8 测试数据和结果 测试数据(content) 测试结果(case_result) https://www.testweb.com true https://www.testweb.com:443 true www.testweb.com:443 false
设置是否将作业运行时的日志信息保存到OBS。日志信息的保存路径为:“桶名/jobs/logs/作业id开头的目录”。 注意: 该参数建议勾选,否则作业运行完成后不会生成运行日志,后续如果作业运行异常则无法获取运行日志进行定位。 勾选后需配置下列参数: “OBS桶”:选择OBS桶用于保存用户作业日志信息。如
TUMBLE函数指定每个元素到一个指定大小的窗口中。滚动窗口的大小固定且不重复。 例如:假设指定了一个 5 分钟的滚动窗口。Flink 将每 5 分钟生成一个新的窗口。 图1 滚动窗口示例图 语法描述 TUMBLE 函数通过时间属性字段为每行数据分配一个窗口。 在流计算模式,时间属性字段必须被指定为事件或处理时间属性。
GROUP GROUPING GW_URL H HASH_KEY_COLUMN HAVING HIERARCHY HOLD HOUR HTTPS_PORT I IDENTITY ILLEGAL_DATA_TABLE IMMEDIATE IMPLEMENTATION IMPORT IN
GROUP GROUPING GW_URL H HASH_KEY_COLUMN HAVING HIERARCHY HOLD HOUR HTTPS_PORT I IDENTITY ILLEGAL_DATA_TABLE IMMEDIATE IMPLEMENTATION IMPORT IN
pyspark.python=python3 # 当前参数值为生产环境web地址 spark.dli.user.uiBaseAddress=https://console.huaweicloud.com/dli/web # 队列所在的region。 spark.dli.user.regionName=XXXX
自动扩缩容:根据业务负载,对计算资源进行预估和自动扩缩容。 如何访问DLI 云服务平台提供了Web化的服务管理平台,既可以通过管理控制台和基于HTTPS请求的API(Application programming interface)管理方式来访问DLI,又可以通过JDBC客户端连接DLI服务端。