检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs>
参数名称 是否必选 参数类型 说明 queue_id 否 Long 队列ID。 queue_name 否 String 队列名称。 description 否 String 队列描述信息。 owner 否 String 创建队列的用户。 create_time 否 Long 创建队列的时间。单位为“毫秒”的时间戳。
"https://bucketname.obs.cn-north-1.myhuaweicloud.com/jarname.jar"; String description = "test for sdk"; // 调用DLIClient对象的uploadResources方法上传资源 List<PackageResource>
参数 参数类型 说明 lang String 语言。 name String 样例模板名称。 sql String 样例模板内容。 description String 样例模板描述。 group String 样例模板分组。 请求示例 无 响应示例 { "is_success":
System.out.println(result); } 查询作业APIG网关服务访问地址 DLI提供查询Flink作业APIG访问地址的接口。您可以使用该接口查询作业APIG网关服务访问地址。示例代码如下: 1 2 3 4 5 private static void ge
sql_id String SQL模板ID。 sql_name String SQL模板名称。 sql String SQL模板文本。 description String SQL模板描述信息。 owner String SQL模板的创建者。 group String SQL模板分组名称。
orc.compression.codec GZIP orc.row.index
用到账号、用户和密码等信息。 区域 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Re
接)。 创建完跨源连接后,可以通过“资源管理 > 队列管理”页面,单击“操作”列“更多”中的“测试地址连通性”,验证队列到外部数据源之间的网络连通是否正常。详细操作可以参考测试地址连通性。 操作步骤 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Spark作业”,进入“Spark作业”页面。
该路径下的文件夹须不存在,如请求样例中的“path”文件夹。 compress 否 String 导出数据的压缩格式,目前支持gzip,bzip2和deflate压缩方式; 默认值为none,表示不压缩。 data_type 是 String 导出数据的存储格式,目前API支持csv和json格式。
2], [3]] zip(array1, array2[, ...]) -> array(row) 描述:将给定数组按元素合并到单个行数组中。第N个自变量的第M个元素将是第M个输出元素的第N个字段。如果参数长度不均匀,则缺少的值将填充为NULL。 SELECT zip(ARRAY[1
avg avg函数用于计算求平均值。 命令格式 avg(col), avg(DISTINCT col) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 col 是 所有数据类型 列值支持所有数据类型,可以转换为DOUBLE类型后参与运算。 返回值说明 返回DOUBLE类型的值。
datasource.hive_sync.partition_extractor_class", "org.apache.hudi.hive.MultiPartKeysValueExtractor") .option("hoodie.datasource.hive_sync.use_jdbc"
Parquet:DLI支持读取不压缩、snappy压缩、gzip压缩的parquet数据。 CSV:DLI支持读取不压缩、gzip压缩的csv数据。 ORC:DLI支持读取不压缩、snappy压缩的orc数据。 JSON:DLI支持读取不压缩、gzip压缩的json数据。 Avro:DLI支持读取不压缩的avro数据。
如果选择“短信”协议,需要在“订阅终端”中填写接收确认短信的手机号码。 如果选择“邮件”协议,需要在“订阅终端”中填写接收确认邮件的邮箱地址。 更多信息,请参考《消息通知服务用户指南》中《添加订阅》章节。 图4 添加订阅 通过单击短信或者邮件中的链接确认后,将收到“订阅成功”的信息。
"obs:bucket:GetBucketLocation", "obs:bucket:ListBucketMultipartUploads", "obs:bucket:GetBucketLogging",
开启Flink作业动态扩缩容 操作场景 在实际作业运行中,由于作业的数据流量变化,导致所需计算资源不同,造成流量较小时计算资源浪费,流量较大时计算资源不足以满足计算所需。 DLI提供的动态扩缩容功能可以根据当前作业的负载情况,例如:数据输入输出量、数据输入输出速率、反压等情况,动
数据库名称。 owner 否 String 数据库的创建者。 table_number 否 Integer 数据库中表的个数。 description 否 String 数据库相关的描述信息。 enterprise_project_id 是 String 企业项目ID,“0”表示
表1 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。
CHARGING_MODE_CU; String description = "test for sdk"; Queue queue = client.createQueue(qName, cu, mode, description); System.out.println("----------