检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
一般用于寻找和创建底层的连接器。 表达式 key1=val1 的键和值必须为字符串文本常量。 注意: 使用 CREATE TABLE 语句注册的表均可用作 table source 和 table sink。 在被 DML 语句引用前,我们无法决定其实际用于 source 抑或是
cdc-events-duplicate设置为true,并在源表上定义PRIMARY KEY。Framework将生成一个额外的有状态操作符,并使用主键对变更事件进行去重,并生成一个规范化的changelog流。 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none)
用户设置的作业并行数目。默认值为“1”。 并行数是指同时运行Flink SQL作业的最大任务数。适度增加并行数会提高作业整体算力,但也须考虑线程增多带来的切换开销。最大并行数不能大于计算单元(CU数量-管理单元)的4倍。 管理单元参数设置详见:manager_cu_number。 checkpoint_enabled
Bytes进行字节数组和Flink 数据类型转换。 Flink 的 HBase 连接器将所有数据类型(除字符串外)null值编码成空字节。对于字符串类型,null值的字面值由null-string-literal选项值决定。 表2 数据类型映射表 Flink 数据类型 HBase 转换 CHAR / VARCHAR
parallel_number 否 Integer 最大并行度。 并行数为作业每个算子的并行数,适度增加并行数会提高作业整体算力,但也须考虑线程增多带来的切换开销,上限是计算单元CU数的4倍,最佳实践为计算单元CU数的1-2倍。 tm_cus 否 Integer 单个taskManagerCU数量。
HOUR)将转换为CalendarIntervalType类型。 Spark3.3.x:在Spark3.3.x版本中,单位到单位的间隔(如 INTERVAL '1-1' YEAR TO MONTH)和单位列表间隔(如 INTERVAL '3' DAYS '1' HOUR)将转换为 ANSI
区域对应的项目中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问DLI时,需要先切换至授权区域。 权限类别:根据授权精程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务
角度检查数据,当数据不符合路径表达式时将抛出错误。但是,像JSON_VALUE这样的函数允许在遇到错误时定义回退行为。但是宽松模式会将错误转换为空序列。 特殊字符$表示JSON路径中的根节点。路径可以访问属性($.a)、数组元素($.a[0].b)或数组中的所有元素($.a[*]
0表示男 1表示女 2表示保密 rank Int 用户等级 有顺序的级别枚举,越高级别数字越大 register_time string 用户注册日期 单位:天 商品数据 表2 商品数据 字段名称 字段类型 字段说明 取值范围 product_id int 商品编号 脱敏 a1 int
小写。资源类型和操作没有大小写,要求支持通配符号*,无需罗列全部授权项。 资源类型可以参考表4中的资源类型。 操作:操作以IAM服务中已经注册的action为准。 Condition 限制条件:使策略生效的特定条件,包括条件键和运算符。 条件键表示策略语句的 Condition
如果不创建该桶,将无法查看作业日志。桶名称为系统默认。 在OBS管理控制台页面通过配置桶的生命周期规则,可以实现定时删除OBS桶中的对象或者定时转换对象的存储类别。 具体操作请参考通过配置生命周期规则。 SQL编辑器页面可以批量执行SQL语句。 作业编辑窗口常用语法采用不同颜色突出显示。
务器,即开即用。 DLI支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
数据库创建完成后,需要在数据库db1中基于OBS上的样本数据创建表。 步骤5:查询数据 使用标准SQL语句进行数据的查询和分析。 准备工作 已注册华为账号并开通华为云,且在使用DLI前检查账号状态,账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、V
“properties.”后的后缀名必须匹配定义在 kafka参数文档中的参数名。 Flink会自动移除选项名中的 "properties." 前缀,并将转换后的键名以及值传入KafkaClient。 例如:您可以通过 'properties.allow.auto.create.topics' =
参数。 选项的后缀名必须匹配定义在 kafka参数文档中的参数名。 Flink会自动移除选项名中的 "properties." 前缀,并将转换后的键名以及值传入 KafkaClient。 例如:您可以通过 'properties.allow.auto.create.topics'
据库和表数据,则可以通过以下命令获取Hive的数据库和表信息。 在Hive客户端执行如下命令获取数据库信息 show databases 切换到需要迁移的Hive数据库 use Hive数据库名 显示当前数据库下所有的表信息 show tables 查询Hive表的建表语句 show
步骤4:创建自定义委托允许DLI访问DEW读取凭证 创建允许DLI访问DEW的委托。 步骤5:提交Spark作业 创建Spark Jar作业分析数据。 准备工作 已注册华为账号并开通华为云,且在使用DLI前检查账号状态,账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、V
例如ascii('abc') 返回97 ascii(CAST(NULL AS VARCHAR)) 返回NULL CHR(integer) STRING 将ASCII码转换为字符 若integer大于255,则计算出integer除以255的余数,并将余数作为ASCII码值 若integer为null,则返回null
例如ascii('abc') 返回97 ascii(CAST(NULL AS VARCHAR)) 返回NULL CHR(integer) STRING 将ASCII码转换为字符 若integer大于255,则计算出integer除以255的余数,并将余数作为ASCII码值 若integer为null,则返回null
目标索引。您还可以使用 {field_name|date_format_string}将TIMESTAMP、DATE和TIME类型的字段值转换为date_format_string指定的格式。date_format_string与Java的DateTimeFormatter兼容。