检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2（即将下线）或2.4.5提交作业时，需要指定Module模块，名称为：sys.datasource.opentsdb。 如果选择Spark版本为3.1.1及以上版本时，无需选择Module模块，
如果使用了INCLUDING PROPERTIES，表的所有属性也会被复制到新表，该选项最多只能对一个表生效。 对于从表中复制过来的属性，可以使用WITH子句指定属性名进行修改。 默认使用EXCLUDING PROPERTIES属性。 对于带分区的表，如果用括号包裹like子句，复制的列定义不会包含分区键的信息。
步骤4：创建自定义委托允许DLI访问DEW读取凭证 创建允许DLI访问DEW的委托。 步骤5：提交Spark作业 创建Spark Jar作业分析数据。 准备工作 已注册华为账号并开通华为云，且在使用DLI前检查账号状态，账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、V
自定义镜像。格式为：组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用自定义的Spark镜像。关于如何使用自定义镜像，请参考《数据湖探索用户指南》。 req_body 否 String 请求参数详情。
在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择Spark版本为2.3.2（即将下线）或2.4.5提交作业时，需要指定Module模块，名称为：sys.datasource.css。 如果选择Spark版本为3.1.1及以上版本时，无需选择Module模块，
Flink Jar作业是否支持上传配置文件，要如何操作？ Flink Jar作业上传配置文件操作流程 自定义(JAR)作业支持上传配置文件。 将配置文件通过程序包管理上传到DLI； 在Flink jar作业的其他依赖文件参数中，选择创建的DLI程序包； 在代码中通过ClassName
据量阈值） dli.sql.caseSensitive（sql语句是否大小写敏感） dli.sql.shuffle.partitions（指定Shuffle过程中Partition的个数） dli.sql.cbo.enabled（是否打开CBO优化策略） dli.sql.cbo.joinReorder
支持的Connector FileSystem 参数说明 表1 参数说明 参数 是否必选 默认值 类型 描述 format 是 无 String 指定使用的格式，此处应为"parquet"。 parquet.utc-timezone 否 false Boolean 使用 UTC 时区或本地时区在纪元时间和
datasource.hive_sync.partition_extractor_class", "org.apache.hudi.hive.MultiPartKeysValueExtractor") .option("hoodie.datasource.hive_sync.use_jdbc"
被括在引号中，任何内部引号不会被转义）。建议不要使用该函数。无法在不影响现有用法的情况下修正该函数，可能会在将来的版本中删除该函数。 返回指定索引位置的json元素，索引从0开始 SELECT json_array_get('["a", [3, 9], "c"]', 0); --
自定义镜像。格式为：组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用自定义的Spark镜像。 req_body 否 String 请求参数详情。 update_time 否 Long 批处理作业的更新时间。是单位为“毫秒”的时间戳。
TABLE testDB.testTable1 ALTER COLUMN age COMMENT "new comment"; 不支持 支持 替换指定列 ALTER TABLE testDB.testTable1 REPLACE COLUMNS (name string, ID int COMMENT
约束限制 如果使用Spark 3.1访问元数据，则必须新建队列。 不支持的场景： 在SQL作业中创建了数据库（database），编写程序代码指定在该数据库下创建表。 例如在DLI的SQL编辑器中的某SQL队列下，创建了数据库testdb。后续通过编写程序代码在testdb下创建表t
在的catalog，如图2所示，或在SQL命令中指定catalogName。catalogName是DLI控制台的数据目录映射名。 图2 在SQL编辑器页面选择数据目录 对接LakeFormation实例场景，在创建数据库时需要指定数据库存储的OBS路径。 对接LakeForma
其他函数 函数概览 decode1 javahash max_pt ordinal trans_array trunc_numeric url_decode url_encode 父主题： 内置函数
DLI对接AOM Prometheus监控的配置项 在配置DLI对接AOM Prometheus监控时，系统会自动完成DLI对接AOM Prometheus监控的配置项中的参数配置。如果这些默认配置不满足您的需求，您可以在Flink作业的“自定义配置”中手动配置以下参数，且优先以您的配置为准。
Datasource Connections Agency Access、DLI Notification Agency Access授权范围是指定区域项目资源： 仅在勾选该权限且更新DLI委托权限后的项目生效。未勾选该权限的项目不具备跨源场景所需权限、和SMN发送通知消息的权限。 示
JDBC源表 功能描述 JDBC连接器是Flink内置的Connector，用于从数据库读取相应的数据。 前提条件 要与实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规
该参数和partition-range参数不能同时配置。 当两个参数都没有配置的时候默认读取所有partition。 connector.partition-range 否 指定作业从DIS通道读取的分区范围。该参数和partition-count参数不能同时配置。当两个参数没有配置的时候默认读取所有partition。
'rows-per-second' = '1', --每秒生成一条数据 'fields.name.kind' = 'random', --为字段user_id指定random生成器 'fields.name.length' = '7', --限制user_id长度为7 'fields.classNo
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
