检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ies.jar。 图1 新建驱动连接 打开创建新驱动界面。 在“设置”页输入驱动相关参数说明，单击“确定”创建驱动。 驱动参数配置说明请参考表2。 图2 编辑驱动连接 表2 驱动相关参数说明 参数 说明 驱动名称 命名为便于识别的名称，例如GaussDB Driver。 驱动类型
图，直接修改该程序包的所有者。 图2 程序包管理-修改程序包所有者 表1 参数说明 参数名称 描述 分组名称 如果创建程序包时选择了分组，显示所在的分组名称。 如果创建程序包时没有选择分组，则不显示该参数。 名称 程序包名称。 选择类型 如果创建程序包时选择了分组，可选择修改“组”的所有者或者“程序包”的所有者。
设置SQL作业优先级 在“ 设置 > 参数配置”中配置如下参数，其中x为优先级取值。 spark.sql.dli.job.priority=x 登录DLI管理控制台。 单击“作业管理 > SQL作业”。 选择待配置的作业，单击操作列下的编辑。 在“ 设置 > 参数配置”中配置spark.sql
lifecycle.days"='N') 关键字 TBLPROPERTIES：表的属性增加表的生命周期功能。 参数说明 表1 修改表的生命周期参数说明 参数名称 是否必选 参数说明 table_name 是 需要修改生命周期的表名。 dli.lifecycle.days 是 修改后的生命周期时间，只能为正整数，单位为天。
'hbase-2.2', 'table-name' = '', 'zookeeper.quorum' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 connector 是 无 String 指定使用的连接器，固定为：hbase-2.2。 table-name
推导出来的。更多具体使用可参考开源社区文档：CSV Format。 支持的Connector Kafka Upsert Kafka FileSystem 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定要使用的格式，这里应该是 'csv'。 csv
'connector.type' = 'user-defined', 'connector.class-name' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 只能为user-defined，表示使用自定义的sink。 connector
原生数据类型 DLI支持原生数据类型，请参见表1。 表1 原生数据类型 数据类型 描述 存储空间 范围 OBS表支持情况 DLI表支持情况 INT 有符号整数 4字节 -2147483648～2147483647 是 是 STRING 字符串 - - 是 是 FLOAT 单精度浮点型
string2, string3,...) STRING 返回将每个参数和第一个参数指定的分隔符依次连接到一起组成的字符串。若string1是null，则返回null。若其他参数为null，在执行拼接过程中跳过取值为null的参数 例如CONCAT_WS('~', 'AA', NULL, 'BB'
在添加路由的对话框中，填写路由信息。参数说明请参考表1。 单击“确定”。 方法二： 选择待添加的增强型跨源连接，单击操作列的“更多 > 添加路由”。 在添加路由的对话框中，填写路由信息。参数说明请参考表1。 单击“确定”。 表1 自定义路由详情列表参数 参数 参数说明 路由名称 自定义路由
DLI的数据可存储在哪些地方 DLI支持存储哪些格式的数据？ DLI支持如下数据格式： Parquet CSV ORC Json Avro DLI服务的数据可以存储在哪些地方？ OBS：SQL作业，Spark作业，Flink作业使用的数据均可以存储在OBS服务中，降低存储成本。
'username' = 'dorisUsername', 'password' = 'dorisPassword' ); 参数说明 通用配置项 参数 默认值 是否必选 参数类型说明 fenodes -- 是 Doris FE ip地址和port, 多实例之间使用逗号分隔。其中port可登录FusionInsight
Flink作业”，在作业列表中选择待操作的Flink Jar作业。 单击操作列的“编辑”，进入作业编辑页面。 在参数配置区域，选择新的Flink版本。 使用Flink 1.15以上版本的引擎执行作业时，需要在优化参数中配置委托信息，其中key为"flink.dli.job.agency.name"，va
ds/* 通过控制台提交作业请参考《数据湖探索用户指南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。 完整示例代码 通过SQL API访问 1 2 3 4 5
ttl（所有分区作为临时表）设置一个相对较大的值。否则，作业容易出现性能问题，避免表更新和重新加载过于频繁。 缓存刷新需加载整个Hive表。无法区分新数据和旧数据。 参数说明 在执行与最新的Hive表的时间关联时，Hive表将被缓存到Slot内存中，然后通过键将流中的每条记录与表进行关联，以确定是否找到匹配
Elasticsearch所在集群的账号。该账号参数需和密码“connector.password”参数同时配置。 使用账号密码参数时，创建的云搜索服务集群必须开启安全模式并且关闭https。 connector.password 否 Elasticsearch所在集群的密码。该密码参数需和“connector
ws/* 通过控制台提交作业请参考《数据湖探索用户指南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。 完整示例代码 通过SQL API 访问DWS表 import org
逻辑。 CASCADE表示即使该database不为空（有表存在），DROP也会级联删除下面的所有表，需要谨慎使用该功能。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。 示例 已参考示例
GREATEST(value1[, value2]*) 返回所有输入参数的最大值，如果输入参数中包含 NULL，则返回 NULL。 LEAST(value1[, value2]*) 返回所有输入参数的最小值，如果输入参数中包含 NULL，则返回 NULL。 父主题： 内置函数
性能问题，所以元数据文件数量最好控制在1000以内。 如何执行Archive 写完数据后archive Spark SQL（set设置如下参数，写数据时触发） hoodie.archive.automatic=true hoodie.keep.max.commits=30 // 默认值为30，根据业务场景指定
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
