检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'connector.username' = '', 'connector.password' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型,‘jdbc’表示使用JDBC connector,必须为jdbc
'connector.username' = '', 'connector.password' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 connector类型,需配置为'gaussdb' connector.url
upsert-kafka 连接器和 raw format 作为 value.format。 Raw format 连接器是内置的。 参数说明 表1 参数 是否必选 默认值 类型 描述 format 是 (none) String 指定要使用的格式, 这里应该是 'raw'。 raw
型跨源连接优先于增强型跨源连接。推荐使用增强型跨源连接。 DLI提供的default队列不支持创建跨源连接。 Flink作业访问DIS,OBS和SMN数据源,无需创建跨源连接,可以直接访问。 增强型跨源仅支持包年包月队列、按需计费模式下的专属队列。 增强型跨源连接需要使用VPC、
创建包年/包月资源:BSS Administrator 创建标签:TMS FullAccess、EPS EPS FullAccess 使用OBS存储:OBS OperateAccess 创建委托:Security Administrator DLI ReadOnlyAccess 数据湖探索只读权限。
创建包年/包月资源:BSS Administrator 创建标签:TMS FullAccess、EPS EPS FullAccess 使用OBS存储:OBS OperateAccess 创建委托:Security Administrator DLI ReadOnlyAccess 数据湖探索只读权限。
在这种情况下,可以配置该参数为false即禁用动态分区修剪优化,有助于减少内存使用,避免内存溢出和频繁的Full GC。 但禁用此优化可能会降低查询性能,禁用后Spark将不会自动修剪掉那些不满足条件的分区。 更多属性参数配置请参考DLI SQL属性参数说明。 图13 编辑DLI
单击“权限信息”右侧的“授权”,弹出“授权”对话框。 填写“用户名”,并勾选对应权限。 单击“确定”,完成新用户的添加。 待设置的参数说明如表1所示。 图1 Flink作业授权 表1 Flink作业授权参数说明 参数名称 描述 用户名 被授权用户的名称。 说明: 该用户名称是已存在的IAM用户名称。并且该用户需要登录过华为云,才能进行授权操作。
业所在行的“操作”列,单击“编辑”进入SQL编辑器界面。 在SQL编辑器界面,单击“设置”,在“配置项”尝试添加以下几个Spark参数进行解决。 参数项如下,冒号前是配置项,冒号后是配置项的值。 spark.sql.enableToString:false spark.sql.adaptive
DLI跨AZ队列能够为用户提供跨区域容灾的能力,提高计算的可靠性。 商用 队列管理概述 2 支持Spark作业开发者模式 用户可以在DLI管理控制台采用API接口模式设置参数及参数值。 商用 创建批处理作业API 2020年5月 序号 功能名称 功能描述 阶段 相关文档 1 支持数据扫描量套餐包 DLI增加数据扫描量套餐包,降低数据扫描量费用。
null SELECT 2 BETWEEN NULL AND 6; -- null HetuEngine中,value,min和max 三个参数在between和not between中必须是同一数据类型。 错误示例:'John' between 2.3 and 35.2 BETWEEN等价写法示例:
UPDATE_BEFORE 和 UPDATE_AFTER 分别编码为 DELETE 和 INSERT 类型的 Canal 消息。 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定要使用的格式,此处应为 'canal-json'
在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图2 我的配额 单击“申请扩大配额”。 在“新建工单”页面,根据您的需求,填写相关参数。 其中,“问题描述”项请填写需要调整的内容和申请原因。 填写完毕后,勾选协议并单击“提交”。 父主题: DLI常用管理操作
在DLI管理控制台的左侧导航栏中,单击“作业模板”>“Spark模板”,页面跳转至Spark作业页面。 参考创建Spark作业配置作业参数。 作业编辑完成后,单击“设为模板”。 输入模板名称和描述信息。 设置模板的分组信息。便于模板的统一管理。 单击“确定”,完成Spark模板的创建。
在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图2 我的配额 单击“申请扩大配额”。 在“新建工单”页面,根据您的需求,填写相关参数。 其中,“问题描述”项请填写需要调整的内容和申请原因。 填写完毕后,勾选协议并单击“提交”。
EXISTS] 如果目标数据库不存在,将抛出错误提示,但如果使用了IF EXISTS子句则不会抛出错误提示。 [RESTRICT|CASCADE] 可选参数RESTRICT|CASCADE用于指定删除的模式默认是RESTRICT模式,在这种模式下,数据库必须为空,不包含任何表才能删除,如果是C
DLI支持的SDK分为SDK V3和DLI服务自行开发的SDK。 (推荐)DLI SDK V3:是根据定义API的YAML文件统一自动生成,其接口参数与服务的API一致。 具体操作请参考SDK V3版本开发指南。 DLI SDK(服务自研):是DLI服务自行开发的SDK,本手册介绍DLI
数据。目前的CSV schema 是基于table schema 推导出来的。 支持的Connector Kafka Upsert Kafka 参数说明 表1 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定要使用的格式,这里应该是 'csv'。 csv.field-delimiter
info); 其中,JDBC的配置项通过url传入,请参考表2配置参数。JDBC配置对象,除了在url中以分号间隔设置配置项外,还可以通过Info对象动态设置属性项,具体属性项参见表3。 表2 数据库连接参数 参数 描述 url url的格式如下。 jdbc:dli://<endPoint>/projectId
存储空间 取值范围 字面量 DECIMAL 固定精度的十进制数。精度最高支持到38位,但精度小于18位能保障性能最好。 Decimal有两个输入参数: precision:总位数,默认38 scale:小数部分的位数,默认0 说明: 如果小数位为零,即十进制(38,0),则支持最高19位精度。