检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提供了可靠且可扩展的托管消息队列,用于收发消息和存储消息。 分布式消息服务Kafka是一款基于开源社区版Kafka提供的消息队列服务,向用户提供可靠的全托管式的Kafka消息队列。 DLI支持创建输入流从DMS的Kafka获取数据,作为作业的输入数据。 创建DMS Kafka输入流的语法与创建开源Apache
说明 适用场景 重置规则 扫描数据量套餐包 按照用户每个作业的数据扫描量(单位为“GB”)收取计算费用。 仅适用于default 队列。 扫描数据量套餐的额度按订购周期会重置。 弹性资源池CU时套餐包 按照“CU时”收取计算费用,用户在弹性资源池添加的队列上运行作业时按照弹性资源池CU时计费。
新建跨源连接,显示已激活,但使用时提示communication link failure错误怎么办? 根因分析 网络连通性问题,建议用户检查安全组选择是否正确,检查安全组网络(vpc)配置。 解决方案 示列:创建RDS跨源,使用时报“communication link failure”错误。
认证信息名,同一个project下唯一。 user_name 否 String 认证相关用户名。 password 否 String 认证相关用户密码。 certificate_location 否 String 用户安全集群的证书路径,目前只支持OBS路径,cer类型文件。 datasource_type
module_name 否 String 资源模块名 module_type 否 String 资源模块类型。 jar:用户jar文件; pyFile:用户python文件; file:用户文件。 表4 details参数说明 参数名称 是否必选 参数类型 说明 create_time 否 Long
module_name 否 String 资源模块名 module_type 否 String 资源模块类型。 jar:用户jar文件; pyFile:用户python文件; file:用户文件。 表4 details参数说明 参数名称 是否必选 参数类型 说明 create_time 否 Long
计费样例 计费场景 某公司用户A申请了256CUs的弹性资源池,并将1TB数据存放在DLI表中。该公司想要了解采用哪种计费模式才是性价比最优的方式。 数据湖探索服务目前支持三种作业:SQL作业,Flink作业和Spark作业。SQL作业的计费包括存储计费和计算计费,Flink作业和Spark作业的计费只有计算计费。
注意事项 显示与给定正则表达式或函数名匹配的函数。如果未提供正则表达式或名称,则显示所有函数。如果声明了USER或SYSTEM,那么将分别显示用户定义的Spark SQL函数和系统定义的Spark SQL函数。 示例 查看当前的所有函数。 1 SHOW FUNCTIONS; 父主题:
Array of Strings 用户OBS对象路径列表,OBS对象路径为OBS对象URL。 kind 是 String 分组资源文件的类型。 jar:用户jar文件。 pyFile:用户python文件。 file:用户文件。 modelFile:用户AI模型文件。 说明: 上传的
开通了企业管理服务的用户可设置该参数绑定指定的项目。 resource_type 否 String 资源类型。 vm:ecf集群 container:容器化集群(k8s) cu_spec 否 Integer 队列的规格大小。对于包周期队列,表示包周期部分的CU值;对于按需队列,表示用户购买队列时的初始值。
数据探索湖 > 队列监控 > 队列CU使用量” 。 计算剩余CU量。 队列剩余CU量=队列CU量 - 队列CU使用量。 当队列剩余CU量小于用户提交的CU量,则需要等待资源,才能提交成功。 父主题: Spark作业开发类
keyToExtract]) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 urlString 是 STRING URL链接。无效URL链接会返回报错。 partToExtract 是 STRING 取值包含:HOST、PATH、QUERY、REF、PROTOCOL、A
keyToExtract]) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 urlString 是 STRING URL链接。无效URL链接会返回报错。 partToExtract 是 STRING 取值包含:HOST、PATH、QUERY、REF、PROTOCOL、A
enterprise_project_id 否 String 企业项目ID。0”表示default,即默认的企业项目。关于如何设置企业项目请参考《企业管理用户指南》。 说明: 开通了企业管理服务的用户可设置该参数绑定指定的项目。 cidr_in_vpc 否 String 队列的虚拟私有云(VPC)的网段。例如:10.0
String 全局变量值。 project_id 否 String 项目ID。 user_id 否 String 用户ID。 user_name 否 String 用户名。 is_sensitive 否 Boolean 是否设置为敏感变量。 create_time 否 Long 创建时间。
项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 new_owner 是 String 新用户名。名称只能包含数字、英文字母、下划线和中划线且不能以数字开头,长度在5-32字符之间。 group_name 是 String 组名。名
所指定的新的OBS路径必须是已经存在的绝对路径,否则将报错。 若新增分区指定的路径包含子目录(或嵌套子目录),则子目录下面的所有文件类型及内容也将作为该分区的记录。用户需要保证该分区目录下所有文件类型和文件内容与表的字段一致,否则查询将报错。 示例 将student表的分区dt='2008-08-08',
所指定的新的OBS路径必须是已经存在的绝对路径,否则将报错。 若新增分区指定的路径包含子目录(或嵌套子目录),则子目录下面的所有文件类型及内容也将作为该分区的记录。用户需要保证该分区目录下所有文件类型和文件内容与表的字段一致,否则查询将报错。 示例 将student表的分区dt='2008-08-08',
String 集群的描述信息。 cu_count 是 Integer 与集群绑定的计算单元个数。 owner 是 String 创建集群的用户。 cluster_name 是 String 集群名称。 status 是 String 具体集群状态信息可参见表3。 resource_mode
说明 job_ids 是 Array of Long 作业ID。 trigger_savepoint 否 Boolean 在停止作业之前,用户可以选择是否对作业创建保存点,保存作业的状态信息。类型为boolean。 当triggerSavePoint为true时,表示创建保存点。