检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL类型不支持text,如果存在长文本,建议先在数据库中创建表。 encode使用orc格式时,创建DWS表时,如果SQL流字段属性定义为String类型,DWS表字段属性不能使用varchar类型,需使用特定的text类型;如果是SQL流字段属性定义为Integer类型,DWS表字段需要使用Integer类型。
SQL类型不支持text,如果存在长文本,建议先在数据库中创建表。 encode使用orc格式时,创建DWS表时,如果SQL流字段属性定义为String类型,DWS表字段属性不能使用varchar类型,需使用特定的text类型;如果是SQL流字段属性定义为Integer类型,DWS表字段需要使用Integer类型。
sparkSession.sql("select * from testhbase").show(); 提交Spark作业 将写好的代码文件生成jar包,上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 如果MRS
以Source为例进行说明,Sink的使用方法相同。 支持配置Json_schema 配置了json_schema后,可以不声明DDL中的字段,自动从json_schema中生成。使用示例如下: CREATE SOURCE STREAM data_with_schema WITH ( type = "dis"
size Integer. MAX_VALUE 否 一个 Partition 对应的Doris Tablet 个数。 此数值设置越小,则会生成越多的 Partition。从而提升 Flink 侧的并行度,但同时会对 Doris 造成更大的压力。 doris.batch.size 1024
以Source为例进行说明,Sink的使用方法相同。 支持配置Json_schema 配置了json_schema后,可以不声明DDL中的字段,自动从json_schema中生成。使用示例如下: CREATE SOURCE STREAM data_with_schema WITH ( type = "dis"
是 application/json Content-Length 请求body长度,单位为Byte。 POST/PUT请求必填。 GET不能包含。 3495 X-Project-ID project id,项目编号。在多项目场景中使用,用于不同项目获取token。 否 e999
后续对J1包中函数实现做了逻辑修改,重新执行创建函数F2,指定类名C1,Jar包名J1。 说明: 注意,如果步骤2继续使用函数名F1,则会因为函数名重复导致创建失败。这时可以考虑使用OR REPLACE,或者替换所有作业中的函数F1为F2。 需要重启Spark SQL队列后新创建的自定义函数F2生效 需要重启Spark
后续对J1包中函数实现做了逻辑修改,重新执行创建函数F2,指定类名C1,Jar包名J1。 说明: 注意,如果步骤2继续使用函数名F1,则会因为函数名重复导致创建失败。这时可以考虑使用OR REPLACE,或者替换所有作业中的函数F1为F2。 需要重启Spark SQL队列后新创建的自定义函数F2生效 需要重启Spark
授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请
授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请
ERROR ]) 从JSON字符串中提取标量。 此方法在JSON字符串中搜索给定的路径表达式,如果该路径上的值是标量,则返回该值。如果不是标量值,则无法返回。默认情况下,该值以STRING类型返回。使用returnType可以选择不同的类型,支持以下类型: VARCHAR / STRING
器。 在SQL作业编辑器左侧,选择“数据库”页签,单击创建demo数据库,请参见图1。 图1 创建数据库 “default”为内置数据库,不能创建名为“default”的数据库。 选择demo数据库,在编辑框中输入以下SQL语句: create table user( user_id
min、minute等。 为0则表示不根据时间刷新 connector.write.max-retries 否 3 Integer 写数据失败时的最大尝试次数,默认值为:3。 示例 从Kafka中读取数据,并将数据插入到数据库为flink、表名为order的ClickHouse数
min、minute等。 为0则表示不根据时间刷新 connector.write.max-retries 否 3 Integer 写数据失败时的最大尝试次数,默认值为:3。 示例 从Kafka中读取数据,并将数据插入到数据库为flink、表名为order的ClickHouse数
U数。 在全天的任意一个时间段内,弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 同一队列不同扩缩容策略的时间段区间不能有交集。 弹性资源池队列中的扩缩容策略时间段仅支持整点的时间段设置,并且包含设置的开启时间,不包含设置的结束时间,例如设置时间段00-09
ataFrame对象,并且每次只能删除一个字段,示例如下: 1 jdbcDF.drop("id").show() 提交作业 将写好的代码生成jar包,上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spar
FROM person".stripMargin).collect().foreach(println) 提交Spark作业 将写好的代码生成jar包,上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spar
账号具备所有接口的调用权限,如果使用账号下的IAM用户发起API请求时,该IAM用户必须具备调用该接口所需的权限,否则,API请求将调用失败。每个接口所需要的权限,与各个接口所对应的授权项相对应,只有发起请求的用户被授予授权项所对应的策略,该用户才能成功调用该接口。例如,用户要
format("hbase").options(map.toMap).load().show() 返回结果: 提交Spark作业 将写好的代码生成jar包,上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 如果MRS