检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Doris Connector概述 Flink Doris Connector 可以支持通过 Flink 操作(读取、插入、修改、删除) Doris 中存储的数据。详情可参考Flink Doris Connector 只能对Unique Key模型的表进行修改和删除操作。 表1 支持类别
自拓展生态: 云服务生态 DLI服务在Stream SQL中支持与其他服务的连通。用户可以直接使用SQL从这些服务中读写数据,如DIS、OBS、CloudTable、MRS、RDS、SMN、DCS等。 开源生态 通过对等连接建立与其他VPC的网络连接后,用户可以在DLI的租户独享
提交SQL作业:提交SQL作业,创建数据库db1、表tb1、在表中插入数据,并查询数据 接口相关信息 URI格式:POST /v1.0/{project_id}/jobs/submit-job {project_id}信息请从获取项目ID获取。 请求参数说明详情,请参见提交SQL作业(推荐)。 请求示例 描
字符之外的字符。 字符串之间可以进行比较。 逻辑运算符 常用的逻辑操作符有AND、OR和NOT,优先级顺序为:NOT>AND>OR。 运算规则请参见表2,表中的A和B代表逻辑表达式。 表2 逻辑运算符 运算符 返回类型 描述 A OR B BOOLEAN 若A或B为TRUE,则返回TRUE,且支持三值逻辑。
'hudi_table1', op => 'run', timestamp => 'xxx'); call run_compaction(path => 'obs://bucket/path/hudi_table1', op => 'run', timestamp => 'xxx'); 注意事项 compaction操作仅支持MOR表。
字符之外的字符。 字符串之间可以进行比较。 逻辑运算符 常用的逻辑操作符有AND、OR和NOT,优先级顺序为:NOT>AND>OR。 运算规则请参见表2,表中的A和B代表逻辑表达式。 表2 逻辑运算符 运算符 返回类型 描述 A OR B BOOLEAN 若A或B为TRUE,则返回TRUE,且支持三值逻辑。
dbt_project.yml文件。 参考dbt_project.yml配置项目。 确保步骤2:配置DBT连接DLIprofile文件中已设置该项目的profiles.yml中定义的数据源名称。 图1 profile文件 图2 dbt_project.yml文件中配置的profile
CREATE CATALOG语句 功能描述 根据给定的属性创建catalog。如果已经存在同名catalog会抛出异常。 语法定义 CREATE CATALOG catalog_name WITH (key1=val1, key2=val2, ...) 语法说明 WITH OPTIONS
add columns(new_col int comment 'add new column'); alter table delta.`obs://bucket_name0/db0/delta_table0` add columns(new_col string); 系统响应 通
创建包年/包月资源:BSS Administrator 创建标签:TMS FullAccess、EPS EPS FullAccess 使用OBS存储:OBS OperateAccess 创建委托:Security Administrator DLI ReadOnlyAccess 数据湖探索只读权限。
百分比与运行时计算的随机值之间的比较)。系统采样中行的选择依赖于使用的connector。例如,如果使用Hive数据源,这将取决于数据在OBS上的布局。这种采样方法不能保证独立的抽样概率。 SELECT * FROM users TABLESAMPLE SYSTEM (75); 父主题:
tables.表名”,指定的表的数据将被共享。 “databases.数据库名.tables.表名.columns.列名”,指定的列将被共享。 “jobs.flink.flink作业ID”,指定的作业将被共享。 “groups.程序包组名”,指定的程序包组将被共享。 “resources.程序包名”,指定程序包将被共享。
从地区和终端节点中获取。 scope参数定义了Token的作用域,下面示例中IAM获取的Token仅能访问project下的资源。您还可以设置Token的作用域为某个账号下所有资源或账号的某个project下的资源,详细定义请参见IAM获取用户Token。 1 2 3 4
1008L) or ts >= 1009L', order => 'ts'); call run_clustering(path => 'obs://bucket/path/hudi_test2', predicate => "dt = '2021-08-28'", order =>
策略名称:可以使用默认名称,也可以自定义。 作用范围:选择“项目级服务”。 策略配置方式:选择“可视化视图”。 策略内容:依次选择“允许”,“数据湖探索”,“dli:jobs:list_all”。 单击“确认”,创建策略。 图3 创建策略 在“用户组”页面,找到需要授权的用户所属的用户组,单击用户组名称,进入用
Format概述 Flink 提供了一套与表连接器(table connector)一起使用的表格式(table format)。 表格式是一种存储格式,定义了如何把二进制数据映射到表的列上。 表1 Flink支持格式 Formats 支持的Connectors CSV Kafka
mode=>'query'); call clean_file(table => 'h1', mode=>'undo', backup_path=>'obs://bucket/hudi/h1/.hoodie/.cleanbackup/hoodie_repair_backup_20230527');
Location: obs://bucket/user/hive/warehouse/fruit Table Type:
回收权限 功能描述 回收已经授予用户或角色的权限。 语法格式 1 REVOKE (privilege,...) ON (resource,..) FROM ((ROLE [db_name].role_name) | (USER user_name)),...); 关键字 ROLE:限定后面的rol
详细请参见导出查询结果。 URI URI格式: GET/v1.0/{project_id}/queues/{queue_name}/jobs/{job_id}?page-size=size¤t-page=page_number 参数说明 表1 URI 参数 名称 是否必选