检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
forEachRemaining(credentialProviders::add); if (credentialProviders.size() != 1) { throw new RuntimeException("Failed to obtain
支持多种数据源和格式,提供了丰富的数据处理能力,包括但不限于SQL查询、机器学习等。详细操作请参考创建Spark作业。 适用于大规模数据处理和分析,如机器学习训练、日志分析、大规模数据挖掘等场景。 管理Jar作业的程序包 DLI允许用户提交编译为Jar包的Flink或Spark作业,Jar包中包含了
]table_name|DELTA.`obs://bucket_name/tbl_path`; 显示表详细信息: DESCRIBE DETAIL [database_name.]table_name|DELTA.`obs://bucket_name/tbl_path`; 所需权限
Flink 提供了一套与表连接器(table connector)一起使用的表格式(table format)。 表格式是一种存储格式,定义了如何把二进制数据映射到表的列上。 表1 Flink支持格式 Formats 支持的Connectors CSV Kafka, Upsert Kafka
cleaner.size.retained 当清理策略为KEEP_ARCHIVED_FILES_BY_SIZE时,该参数可以设置保留多少字节大小的归档文件,默认值5368709120字节(5G)。 hoodie.archive.file.cleaner.days.retained 当清理策略为
您可以在API Explorer中调试该接口。 URI URI格式: GET/v1.0/{project_id}/jobs/{job_id}/detail 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。
URI格式: GET /v1.0/{project_id}/databases/{database_name}?keyword=tb&with-detail=true 参数说明 表1 URI 参数 名称 是否必选 说明 project_id 是 项目编号,用于资源隔离。获取方式请参考获取项目ID。
order_id, detail.order_channel,detail.order_time,detail.pay_amount,detail.real_pay, detail.pay_time,detail.user_id,detail.user_name,detail.area_id
order_id, detail.order_channel,detail.order_time,detail.pay_amount,detail.real_pay, detail.pay_time,detail.user_id,detail.user_name,detail.area_id
记录与DLI服务相关的操作事件,便于日后的查询、审计和回溯。云审计服务支持的DLI操作列表详见使用CTS审计DLI服务。 关于如何开通云审计服务以及如何查看追踪事件,请参考《云审计服务快速入门》。 创建Flink OpenSource SQL作业 在DLI管理控制台的左侧导航栏中
OPTIONS (PATH 'obs://dli-demo/detail-records/'); 使用该案例时,需将上述SQL语句中的文件路径修改为实际存放详单数据的OBS路径。 单击“执行”,创建详单表detail_records,请参见图3。 图3 创建详单表 执行以下SQL
yml文件中配置的profile 验证配置 执行以下命令测试DBT配置是否正确: dbt debug 执行项目作业 测试通过后执行以下命令来执行您的数据模型。 dbt run 父主题: 使用BI工具连接DLI分析数据
若该函数已经存在,则不会进行任何操作。 LANGUAGE JAVA|SCALA Language tag 用于指定 Flink runtime 如何执行这个函数。目前,只支持 JAVA 和 SCALA,且函数的默认语言为 JAVA。 示例 创建一个名为STRINGBACK的函数 create
镜像。 custom:表示使用用户自定义的Spark镜像。 ai:表示使用DLI提供的AI镜像。 spark_version 否 String 作业使用spark组件的版本号,在“feature”为“basic”或“ai”时填写,若不填写,则使用默认的spark组件版本号2.3.2。
该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 若使用MRS HBase,请在增强型
获取账号ID 在调用接口的时候,部分URL中需要填入账号ID(domain-id),所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下: 登录管理控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面查看账号ID。 图1 获取账号ID
该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS HBase,请在增强
sasl.mechanism' = 'GSSAPI或者PLAIN'、 'properties.sasl.jaas.config' = 'org.apache.kafka.common.security.plain.PlainLoginModule required username=\"xxx\"
x。 该场景作业需要DLI与MySQL建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源
column_constraint: : NOT NULL [[ENABLE|DISABLE] [VALIDATE|NOVALIDATE] [RELY|NORELY]] table_constraint: : [CONSTRAINT constraint_name] PRIMARY