检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从DLI管理控制台下载dli-dbt驱动。 执行安装命令: python setup.py install 安装完成后,可以通过运行以下命令来验证dbt是否正确安装: dbt --version 步骤2:配置DBT连接DLI 配置profiles.yml文件用于保存DBT与DLI的连接信息。
字符码不一致导致数据乱码怎么办? 在DLI执行作业时,为了避免因字符编码不一致导致的乱码问题,建议您统一数据源的编码格式。 DLI服务只支持UTF-8文本格式,因此在执行创建表和导入操作时,用户的数据需要以UTF-8编码。 在将数据导入DLI之前,确保源数据文件(如CSV、JSO
String Schema Registry的基本身份验证凭据源。 debezium-avro-confluent.basic-auth.user-info 否 (none) String Schema Registry的基本身份验证用户信息。 debezium-avro-confluent
用户行为分析,辅助决策。 如图1所示,“基础平台组组长”在华为云上申请了一个“租户管理员”(Tenant Administrator)账号,用于管理和使用华为云的各个服务。因为“大数据平台组”需要使用DLI进行数据分析,所有“基础平台组组长”增加了一个权限为“DLI服务管理员”(DLI
使用这些区域会有较长的访问时延,不建议使用。 在除中国大陆以外的亚太地区有业务的用户,可以选择“中国-香港”、“亚太-曼谷”或“亚太-新加坡”区域。 在非洲地区有业务的用户,可以选择“南非-约翰内斯堡”区域。 在欧洲地区有业务的用户,可以选择“欧洲-巴黎”区域。 资源的价格 不
按量计费:真正的按使用量(扫描量/CU时)计费,不运行作业时0费用。 自动扩缩容:根据业务负载,对计算资源进行预估和自动扩缩容。 如何访问DLI 云服务平台提供了Web化的服务管理平台,既可以通过管理控制台和基于HTTPS请求的API(Application programming interface)管理
"job": { "update_time": 1578905682534 } } 状态码 状态码如表5所示。 表5 状态码 状态码 描述 200 作业更新成功。 400 输入参数无效。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。
华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责
将生成的UDTF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDTF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDTF函数。 6 验证和使用DLI的UDTF函数 DLI控制台 在DLI作业中使用创建的UDTF函数。 操作步骤 新建Maven工程,配置pom文件。以下通过IntelliJ
"connection_id": "2a620c33-5609-40c9-affd-2b6453071b0f" } 状态码 状态码如表6所示。 表6 状态码 状态码 描述 201 创建成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,
int恢复”,并准确配置Checkpoint路径。 图2 开启Checkpoint Flink Checkpoint机制可以保证Flink平台可感知内部状态的精确一致,但对于自定义Source/Sink或者有状态算子,需要合理实现ListCheckpointed接口,来保证业务数据需要的可靠性。
用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 推荐使用DWS服务自研的DWS
用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 前提条件 创建Flink OpenSource
14m','(\d+)([a-z]+)',2);-- 'a' regexp_like(string, pattern) → boolean 描述:验证字符串是否包含满足正则表达式的子串,如果有,返回true。 SELECT regexp_like('1a 2b 14m','\d+b');--
将生成的UDF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDF函数。 6 验证和使用DLI的UDF函数 DLI控制台 在DLI作业中使用创建的UDF函数。 操作步骤 新建Maven工程,配置pom文件。以下通过IntelliJ
Hudi表初始化 初始化导入存量数据通常由Spark作业来完成,由于初始化数据量通常较大,因此推荐使用API方式给充足资源来完成。 对于批量初始化后需要接Flink或Spark流作业实时写入的场景,一般建议通过对上有消息进行过滤,从一个指定的时间范围开始消费来控制数据的重复接入量(例如Spar
OPTIONS('FILEHEADER'='column1,column2') ESCAPECHAR:如果用户想在CSV上对Escape字符进行严格验证,可以提供Escape字符。默认值为“\\”。 配置项为OPTIONS('ESCAPECHAR'='\\') 如果在CSV数据中输入ESC
本节操作介绍适用增强型跨源连接配置DLI与内网数据源的网络联通的操作指导。 创建增强型跨源连接网络不通的问题,可以根据本指导的整体流程和步骤进行排查验证。 整体流程 图1 增强型跨源连接配置流程 前提条件 已创建DLI队列。创建队列详见创建DLI队列操作指导。 队列的计费类型必须为:“包年
用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下
选择刚上传到OBS的UDAF函数的Jar文件,由DLI进行纳管。 6 创建DLI的UDAF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDAF函数。 7 验证和使用DLI的UDAF函数 DLI控制台 在DLI作业中使用创建的UDAF函数。 操作步骤 新建Maven工程,配置pom文件。以下通过IntelliJ