检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
(order_id) not enforced ) WITH ( 'connector' = 'redis', 'host' = 'RedisIP', 'password' = 'RedisPassword', 'data-type' = 'sorted-set', 'deploy-mode'
数据(文中涉及账户的信息已脱敏),在DLI的大数据分析平台上进行分析,找出费用优化的空间,并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤: 步骤1:获取消费数据。获取账户的实际消费数据。 步骤2:分析账户消费结构并
路由名称 自定义路由的名称,在同一个增强型跨源中唯一。名称规则为:长度1~64字节,数字、字母、下划线("_")、中划线("-")组成。 路由IP 自定义路由网段,允许不同路由的网段之间有交集,但不允许完全相同。 禁止添加100.125.xx.xx、100.64.xx.xx网段,避免
启动模式时指定启动的时间戳(单位毫秒)。 scan.topic-partition-discovery.interval 否 无 Duration Consumer 定期探测动态创建的 Kafka topic 和 partition 的时间间隔。 结果表参数说明 表3 结果表参数说明 参数 是否必选 默认值 数据类型
(order_id) not enforced ) WITH ( 'connector' = 'redis', 'host' = 'RedisIP', 'password' = 'RedisPassword', 'data-type' = 'sorted-set', 'deploy-mode'
url 是 jdbc连接地址,格式为:jdbc:postgresql://${ip}:${port}/${dbName} 。DWS数据库版本为8.1.0以后的版本时,格式为:jdbc:gaussdb://${ip}:${port}/${dbName}。 connector.table 是
'topic' = 'TOPIC', 'properties.bootstrap.servers' = 'KafkaIP:PROT,KafkaIP:PROT,KafkaIP:PROT', 'properties.group.id' = 'GroupId', 'scan.startup
参数名称 是否必选 参数类型 说明 queue_id 否 Long 队列ID。 queue_name 否 String 队列名称。 description 否 String 队列描述信息。 owner 否 String 创建队列的用户。 create_time 否 Long 创建队列的时间。单位为“毫秒”的时间戳。
DELETE, DENSE_RANK, DEPTH, DEREF, DERIVED, DESC, DESCRIBE, DESCRIPTION, DESCRIPTOR, DETERMINISTIC, DIAGNOSTICS, DISALLOW, DISCONNECT, DISPATCH
如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 若使用MRS HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 语法格式 create table hbaseSource (
管理页面测试数据源网络是否打通。操作步骤如下: 在队列管理页面选择队列。 单击“操作”列中的“更多 > 测试地址连通性”。 输入数据源的“IP:端口”测试网络连通性。 在增强型跨源连接的详情页可以查看对等连接的相关信息。 对等连接ID:增强型跨源在该队列所在集群中创建的对等连接ID。
x后,对于之前依赖于Kubernetes作为资源管理器的作业会有影响。Spark 3.3.x在应用程序终止时会自动删除driver pod可能会影响到作业的资源管理和清理流程。 Spark3.3.x支持自定义k8s的调度器 说明: Spark2.4.x:不支持使用指定Kubernetes调度器来管理Spark作业的资源分配和调度。
Hbase集群为例,该参数的所使用Zookeeper的ip地址和端口号获取方式如下: 在MRS Manager上,选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”,获取ZooKeeper角色实例的IP地址。 在MRS Manager上,选择“集群 > 待操作的集群名称
Hbase集群为例,该参数的所使用Zookeeper的ip地址和端口号获取方式如下: 在MRS Manager上,选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”,获取ZooKeeper角色实例的IP地址。 在MRS Manager上,选择“集群 > 待操作的集群名称
'krb5conf' = './krb5.conf',\ 'keytab'='./user.keytab',\ 'principal' ='krbtest')") 与未开启kerberos认证相比,开启了kerberos认证需要多设置三个参数,如表1所示。 表1 参数说明
nloadJob接口获取。 DownloadJob接口详情可以在“dli-sdk-java-x.x.x.zip”压缩包中获取。“dli-sdk-java-x.x.x.zip”压缩包可以参考SDK的获取与安装中的操作步骤获取。 父主题: SQL作业相关
已创建CDM迁移集群。创建CDM集群的操作可以参考创建CDM集群。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 数据源为云上服务RDS、MRS时,网络互通需满足如下条件:
<descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs>
name String 模板名字。 body Object 模板内容,请参考表5。 group String 模板所在分组名。 description String 模板描述信息。 language String 语言。 owner String 模板的创建者。 表5 body参数说明
Parquet:DLI支持读取不压缩、snappy压缩、gzip压缩的parquet数据。 CSV:DLI支持读取不压缩、gzip压缩的csv数据。 ORC:DLI支持读取不压缩、snappy压缩的orc数据。 JSON:DLI支持读取不压缩、gzip压缩的json数据。 Avro:DLI支持读取不压缩的avro数据。