检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开启多版本功能后,在执行insert overwrite或者truncate操作时会自动在OBS存储路径下存储多版本数据。关闭多版本功能后,需要通过如下命令把多版本数据目录回收。 RESTORE TABLE [db_name.]table_name TO initial layout;
TBLPROPERTIES('format'='orc') as select * from fruit; 注意事项 当使用alter修改创建视图所依赖的表时,需要重新创建视图,否则再次查询视图会报错。 父主题: DDL 语法
在“添加/编辑标签”对话框中配置标签参数。 表1 标签配置参数 参数 参数说明 标签键 您可以选择: 在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签,用户需要预先在标签管理服务中创建好预定义标签,然后在“标签键”的下拉框中进行选择。用户可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签
目所属的用户账号进行登录。 如果被授权的项目属于相同区域(region)的同一用户,则需使用当前账号切换到对应的项目下。 应用示例 项目B需要访问项目A上的数据源,对应操作如下。 对于项目A: 使用项目A对应的账号登录DLI服务。 通过对应数据源的VPC信息在DLI服务中创建增强型跨源连接“ds”。
region 是 SMN所在区域 connector.topic-urn 否 SMN服务的主题URN,用于静态主题URN配置。作为消息通知的目标主题,需要提前在SMN服务中创建。 与“urn_column”配置两者至少存在一个,同时配置时,“topic_urn”优先级更高。 connector
登录DLI管理控制台,单击“作业管理 > SQL作业”。 选择待查询的SQL作业,单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。 选择需要查看的日期,单击操作列的“ 下载”,下载SQL作业日志到本地。 图3 下载SQL作业日志 父主题: 使用DLI提交SQL作业
dm、te_admin。 具体含义如下: obs_adm:DLI获得访问和使用OBS的委托权限。 dis_adm:访问和使用DIS数据源,需要获得访问和使用DIS(数据接入服务)DIS Administrator权限。 ctable_adm:访问和使用CloudTable(表格存储服务)的CloudTable
'yyyymmdd') = substr('20220601',1,8) 解决措施 在使用join进行多表关联查询时,不管表数据量大小,join时都需要指定on条件来减少多表关联的数据量,从而减轻队列的负荷,提升查询效率。 例如,问题现象中的问题语句可以根据业务场景,在join时通过指定o
以UTC+8时间为准),结算完毕后进入新的计费周期。 计费的起点以DLI表的创建时间点为准,终点以DLI表删除时间为准。 资源从创建到启动需要一定时长,按需计费的数据存储的起点是DLI表创建成功的时间点,而非创建的时间。您可以在“数据管理 > 库表管理”查看DLI表的创建成功的时间。
yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 pattern 否 STRING 代表需要转换的格式。 pattern为空时,默认为yyyy-MM-dd hh:mm:ss格式。 format:格式为代表年月日时分秒的时间单位与任意字符的组合,其中:
登录DLI管理控制台,单击“作业管理 > Spark作业”。 选择待查询的Spark作业,单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。 选择需要查看的日期,单击操作列的“下载”下载Spark日志到本地。 图3 下载Spark作业日志 父主题: 使用DLI提交Spark作业
创建源表、结果表、维表时均使用该字段关联跨源认证。 通过配置pwd_auth_name字段写入创建的Password类型的跨源认证名称。如果配置该参数则不需要在SQL中配置数据源的账号密码。 具体的建表操作指导请参考DLI 语法参考。 Flink OpenSource SQL语法参考:创建DWS源表
资源都将被释放,数据无法恢复。 图1 按需计费DLI资源生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 处理欠费 欠费后需要及时充值,详细操作请参见账户充值。 若DLI的队列、弹性资源池等资源不再使用,您可以将他们删除,以免继续扣费。 您可以在“费用中心 > 总
修改列默认值 alter table h3 alter column price set default 14.56; 插入数据使用列默认值,需要指定写入的列名,和插入的数据一一对应 insert into h3(id, name) values(1, 'aaa'); insert into
作业状态接口查看当前作业的状态,详细介绍参见查询作业状态。 如果强制删除数据库cascade=true,则会级联删除该数据库下面的所有表,需要谨慎使用。 状态码 状态码如表4所示。 表4 状态码 状态码 描述 200 删除成功。 400 请求错误。 500 内部服务器错误。 错误码
tableIndentifier select query; 参数描述 表1 INSERT INTO参数 参数 描述 tableIndentifier 需要执行INSERT命令的Hudi表的名称。 select query 查询语句。 注意事项 写入模式:Hudi对于设置了主键的表支持三种写入模式,用户可以设置参数hoodie
pe名可以自定义。 ES 7.X版本中,单个Index将使用“_doc”作为type名,不再支持自定义。若访问ES 7.X版本时,该参数只需要填写index即可。 构造schema,并添加数据 1 2 3 schema = StructType([StructField("id"
添加/编辑标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择: 在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签,用户需要预先在标签管理服务中创建好预定义标签,然后在“标签键”的下拉框中进行选择。用户可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签
控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource.dws。 如果选择Spark版本为3.1.1时,无需选择Module模块, 需在
图1 添加标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择: 在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签,用户需要预先在标签管理服务中创建好预定义标签,然后在“标签键”的下拉框中进行选择。用户可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签