检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在队列管理界面,单击界面右上角的“购买队列”。 在“购买队列”界面,填写具体的队列配置参数,具体参数填写参考如下。 计费模式:选择“包年/包月”或“按需计费”。本示例选择“按需计费”。 区域和项目:保持默认值即可。 名称:填写具体的队列名称。 新建的队列名称,名称只能包含数字、英文字母和
12:03:00, 0002, Bob, 330110] 常见问题 Q:MySQL CDC源表不支持定义Watermark,怎么进行窗口聚合? A:可以采用非窗口聚合的方式,即将时间字段转换成窗口值,然后根据窗口值进行GROUP BY聚合。 例如:基于上述示例,统计每分钟的订单数,脚本如
并根据需要对实例进行更多操作。 了解更多实例监控。 常见问题 如果 DataArts 作业失败,且 DataArts 提供的日志不够详细,怎么办?还能从哪里找更具体的日志? 您可以可通过 DataArts 的日志找到DLI job id,然后根据DLI job id 在DLI控制台中找到具体的作业。
SQL作业相关API(废弃) 提交SQL作业(废弃) 取消作业(废弃) 查询作业结果-方式一(废弃) 查询作业结果-方式二(废弃) 父主题: 历史API
当data-type设置为“sorted-set”时的默认score。 deserialize-error-policy 否 fail-job Enum 数据解析失败时的处理方式。枚举类型,包含以下值: fail-job:作业失败 skip-row:跳过当前数据 null-field:设置当前数据为null skip-null-values
数据来源:DLI服务提供DataFrame和SQL方式从CloudTable中导入数据到DLI。 存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到CloudTable表中。 通过DLI跨源连接访问CloudTable数据请参考《跨源分析开发方式参考》。 与关系型数据库服务(RDS)的关系
入桶”功能,必须提交工单申请加入白名单。 方式一:使用Maven中央库来添加JDBC驱动 Maven中央库是Apache Maven项目的一部分,提供了Java库和框架。 在不指定JDBC获取方式的情况下,默认使用Maven中央库的方式来添加JDBC驱动。 使用maven构加入h
在队列管理界面,单击界面右上角的“购买队列”。 在“购买队列”界面,填写具体的队列配置参数,具体参数填写参考如下。 计费模式:选择“包年/包月”或“按需计费”。本例选择“按需计费”。 区域和项目:保持默认值即可。 名称:填写具体的队列名称。 新建的队列名称,名称只能包含数字、英文字母和
在队列管理界面,单击界面右上角的“购买队列”。 在“购买队列”界面,填写具体的队列配置参数,具体参数填写参考如下。 计费模式:选择“包年/包月”或“按需计费”。本示例选择“按需计费”。 区域和项目:保持默认值即可。 名称:填写具体的队列名称。 新建的队列名称,名称只能包含数字、英文字母和
eeperAddress:ZookeeperPort 以MRS Hbase集群为例,该参数的所使用Zookeeper的ip地址和端口号获取方式如下: 在MRS Manager上,选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”,获取ZooKeeper角色实例的IP地址。
当data-type设置为“sorted-set”时的默认score。 deserialize-error-policy 否 fail-job Enum 数据解析失败时的处理方式。枚举类型,包含以下值: fail-job:作业失败 skip-row:跳过当前数据 null-field:设置当前数据为null skip-null-values
到dli_management_agency的委托信息。 步骤1:准备数据源通道 本例以Kafka数据作为数据源通道。 开通Kafka数据接入服务,具体操作请参见创建Kafka实例。 创建Kafka相关依赖资源 在创建Kafka实例前您需要提前准备相关依赖资源,包括VPC、子网和安全组,并配置安全组。
group 是 String 将要创建的分组名。 is_async 否 Boolean 是否使用异步方式上传资源包。默认值为“false”,表示不使用异步方式。推荐使用异步方式上传资源包。 tags 否 Array of Objects 资源标签。具体请参考表3。 表3 tags参数
关于如何创建OBS桶并上传数据,请参考《对象存储服务快速入门》。 创建跨源认证。 登录DLI管理控制台。 选择“跨源管理 > 跨源认证”。 单击“创建”。 填写CSS认证信息,详细参数说明请参考表1。 表1 参数说明 参数 参数说明 认证信息名称 所创建的跨源认证信息名称。 名称只能包含数字、英文
interval 否 刷新数据的时间间隔,单位可以为ms、milli、millisecond/s、sec、second/min、minute等。不填写则默认不根据时间刷新 connector.write.max-retries 否 写数据失败时的最大尝试次数。默认值为3 connector
").getOrCreate(); 通过SQL API 访问 未开启Kerberos认证 创建DLI跨源访问MRS HBase的关联表,填写连接参数。 1 sparkSession.sql("CREATE TABLE testhbase(id STRING, location STRING
用户上传证书的位置 'properties.sasl.mechanism' = 'PLAIN', -- 按照SASL_PLAINTEXT方式填写 'properties.security.protocol' = 'SASL_SSL', 'properties.sasl.jaas
在队列管理界面,单击界面右上角的“购买队列”。 在“购买队列”界面,填写具体的队列配置参数,具体参数填写参考如下。 计费模式:选择“包年/包月”或“按需计费”。本示例选择“按需计费”。 区域和项目:保持默认值即可。 名称:填写具体的队列名称。 新建的队列名称,名称只能包含数字、英文字母和
jks文件上传到OBS。 图3 下载SSL证书 在DLI控制台,打开“数据管理 > 程序包管理”,单击“创建”,创建clinet.jks对应的程序包。 主要参数的填写说明: 包类型:File OBS路径:clinet.jks所在的OBS路径。 分组名称:自定义分组或选择已有的分组名称。 图4 创建clinet
update_time 否 Long 模块更新的unix时间戳。 is_async 否 Boolean 是否使用异步方式上传资源包。默认值为“false”,表示不使用异步方式。推荐使用异步方式上传资源包。 owner 否 String 资源包拥有者。 description 否 String 资源模块描述。