检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
table1 WHERE col_1 = 'Ann'; 示例4:创建OBS非分区表,并自定义列字段数据类型 示例说明:创建名为table2的OBS非分区表,您可以根据业务需求自定义列字段的原生数据类型: 与文字字符有关可以使用STRING、CHAR或者VARCHAR。 与时
FROM table1 WHERE col_1 = 'Ann'; 示例4:创建DLI非分区表,并自定义列字段数据类型 示例说明:创建名为table2的DLI非分区表,您可以根据业务需求自定义列子段的原生数据类型: 与文字字符有关可以使用STRING、CHAR或者VARCHAR。 与时
数据序列化格式,支持:'csv'、 'json'及'avro'等。 format.field-delimiter 否 属性分隔符,仅当编码格式为csv时,用户可以自定义属性分隔符,默认为“,”英文逗号。 connector.topic 是 kafka topic名。 connector.properties
submitFlinkSqlJob - POST /v1.0/{project_id}/streaming/sql-jobs 创建Flink自定义作业 createFlinkJarJob - POST /v1.0/{project_id}/streaming/flink-jobs 更新Flink
只支持选择文件。 分组设置 可选择“已有分组”,“创建新分组”或“不分组”。 分组名称 选择“已有分组”:可选择已有的分组。 选择“创建新分组”:可输入自定义的组名称。 选择“不分组”:不需要选择或输入组名称。 说明: 如果选择分组,则对应的权限管理为对应程序包组的权限管理。 如果选择不分组,则对应的权限管理为对应程序包的权限管理。
able,但绝不等同)。 ES 6.X版本中,单个Index只支持唯一type,type名可以自定义。 ES 7.X版本中,单个Index将使用“_doc”作为type名,不再支持自定义。若访问ES 7.X版本时,该参数只需要填写index即可。 构造schema,并添加数据 1
String 作业特性。表示用户作业使用的Spark镜像类型。 basic:表示使用DLI提供的基础Spark镜像。 custom:表示使用用户自定义的Spark镜像。 ai:表示使用DLI提供的AI镜像。 spark_version String 作业使用Spark组件的版本号。 如果当前Spark组件版本为2
CDM数据迁移作业配置 作业名称:自定义数据迁移的作业名称。例如,当前定义为:test。 源端作业配置,具体参考如下: 表2 源端作业配置 参数名 参数值 源连接名称 选择1.a中已创建的数据源名称。 使用SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。
process 否 Double 正在创建的跨源连接进度,显示0.0至1.0代表0%至100%。 name 否 String 创建连接时,用户自定义的连接名称。 connection_url 否 String 用于建立跨源关联表时,需要使用到的连接url。 cluster_name 否
process 否 Double 正在创建的跨源连接进度,显示0.0至1.0代表0%至100%。 name 否 String 创建连接时,用户自定义的连接名称。 connection_url 否 String 用于建立跨源关联表时,需要使用到的连接url。 cluster_name 否
exists/not in的时候会用到。 其他支持的条件包括如下内容: where子句中的多个条件 别名关系 下标表达式 解引用表达式 强制转换表达式 特定函数调用 目前,只在如下情况下支持多个semi/anti join表达式:第一个表中的列在其直接后续的join表达式中被查询,且不与其它join表达式有关系。
请参考Format页面以获取更多详细信息和格式参数。 key.fields-prefix 否 无 String 为键格式的所有字段定义自定义前缀,以避免与值格式的字段发生名称冲突。 默认情况下,前缀为空。如果定义了自定义前缀,则表架构和'key.fields'都将使用前缀名称。在构造密钥格式的数据类型时,将删除前缀,
关配置无效。 true index相关配置 表3 index相关参数配置 参数 描述 默认值 hoodie.index.class 用户自定义索引的全路径名,索引类必须为HoodieIndex的子类,当指定该配置时,其会优先于hoodie.index.type配置。 "" hoodie
实例名称:rds-dliflink 数据库引擎:MySQL 数据库版本:8.0 实例类型:主备 存储类型:SSD云盘 主可用区:自定义 备可用区:自定义 时区:默认 性能规格:2 vCPUs | 8 GB 存储空间:40GB 虚拟私有云、子网:选择1中创建的虚拟私有云和子网。 数据库端口:3306
单击“作业管理 > Flink作业”。 选择要开启动态扩缩容的作业,单击操作列下的编辑。 Flink Opensource SQL作业单击“自定义配置”,配置动态扩缩容参数。 Flink Jar作业单击“优化参数”框,配置动态扩缩容参数。 表1 动态扩缩容参数说明 名称 默认值 描述
REPLACE COLUMNS (name string, ID int COMMENT 'new comment'); 不支持 不支持 自定义表属性 ALTER TABLE testDB.testTable1 SET TBLPROPERTIES ('aaa' = 'bbb'); 支持
6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 //实例化importJob对象,构造函数的入参包括队列、数据库名、表名(通过实例化Table对象获取)和数据路径 private static void importData(Queue
jdbc:postgresql://to-dws-1174405119-ihlUr78j.datasource.com:8000/postgres 如果想要访问DWS中自定义数据库,请在这个连接里将"postgres"修改为对应的数据库名字。 dbtable 指定在DWS关联的表名,或者"模式名.表名",例如:public
创建CSS数据源 配置源端CSS的数据源连接,具体参数配置如下。详细参数配置可以参考CDM上配置CSS连接。 表1 CSS数据源配置 参数 值 名称 自定义CSS数据源名称。例如当前配置为“source_css”。 Elasticsearch服务器列表 单击输入框旁边的“选择”按钮,选择当前C
round-robin:Flink分区中的数据将被轮流分配至Kafka的各个分区。 自定义分区映射模式:如果fixed和round-robin不满足您的需求,您可以创建一个FlinkKafkaPartitioner的子类来自定义分区映射模式。例如org.mycompany.MyPartitioner。