检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
gauss200.jdbc.Driver。 username 否 无 String DWS数据库认证用户名,需要和'password'参数一起配置。 password 否 无 String DWS数据库认证密码,需要和'username'参数一起配置。 scan.partition.column
Tool),是一款开源的数据建模和转换工具,运行在Python环境上。DBT连接DLI,用来定义和执行SQL转换,支持从数据集成、转换到分析的整个数据生命周期管理,适用于大规模数据分析项目和复杂的数据分析场景。 本节操作介绍DBT连接DLI的操作步骤。 操作前准备 环境要求 确保您的系统环境满足以下要求。
Elasticsearch所在集群的账号。该账号参数需和密码“connector.password”参数同时配置。 使用账号密码参数时,创建的云搜索服务集群必须开启安全模式并且关闭https。 connector.password 否 Elasticsearch所在集群的密码。该密码参数需和“connector
enable配置项,所以不涉及Apache Spark 命令注入漏洞(CVE-2022-33891)。 该漏洞主要影响在启用了ACL(访问控制列表)时,可以通过提供任意用户名来执行命令导致数据安全受到威胁。 DLI在设计时充分考虑了数据安全和数据隔离,因此没有启用相关的配置项,所以不会受到这个漏洞的影响。 父主题:
连接数据库所需要的驱动。若未配置,则会自动通过URL提取 connector.username 否 数据库认证用户名,需要和'connector.password'一起配置 connector.password 否 数据库认证密码,需要和'connector.username'一起配置 connector.read
Postgres数据库的IP地址或者Hostname。 username 是 无 String Postgres数据库用户名。 password 是 无 String Postgres数据库服务的密码。 database-name 是 无 String 数据库名称。 schema-name 是 无 String
连接数据库所需要的驱动。若未配置,则会自动通过URL提取。 username 否 无 String 数据库认证用户名,需要和'password'一起配置。 password 否 无 String 数据库认证密码,需要和'username'一起配置。 scan.partition.column 否 无
连接数据库所需要的驱动。若未配置,则会自动通过URL提取。 username 否 无 String 数据库认证用户名,需要和'password'一起配置。 password 否 无 String 数据库认证密码,需要和'username'一起配置。 sink.buffer-flush.max-rows
// SASL_SSL相关配置项。设置jaas账号和密码,username和password为创建Kafka实例过程中开启SASL_SSL时填入的用户名和密码, // 或者创建SASL_SSL用户时设置的用户名和密码。格式如下, // org.apache
DLI 客户端工具下载 您可以在DLI管理控制台下载DLI客户端工具。 登录DLI管理控制台。 单击总览页右侧“常用链接”中的“SDK下载”。 在“DLI SDK DOWNLOAD”页面,单击“dli-clientkit-<version>”即可下载DLI客户端工具。 DLI客
件上传至DLI的同一个位置(同一个分组),直接覆盖原有的程序包或文件。 前提条件 所使用的程序包需提前上传至OBS服务中保存。 创建程序包步骤 在管理控制台左侧,单击“数据管理”>“程序包管理”。 在“程序包管理”页面,单击右上角“创建”可创建程序包。 在“创建程序包”对话框,参见表1设置相关参数。
SL”。 登录MRS集群的Manager,下载用户凭据:”系统设置 > 用户管理 ,单击用户名后的”更多 > 下载认证凭据”。 根据用户凭据生成相应的truststore.jks文件,并将用户凭据以及truststore.jks文件传入OBS中。 具体方式请参考客户端SSL加密功能使用说明。
目前DLI配置SparkUI只展示最新的100条作业信息。 QUERY作业和异步DDL作业除上述操作外,还包括: 下载到本地:异步DDL和QUERY语句支持将结果下载到本地。具体操作请见导出作业结果到本地。 查看结果:查看作业运行结果。 导出结果:将作业运行结果导出至用户创建的OBS桶中。 EXPORT作业除上述操作外,还包括:
gauss200.jdbc.Driver。 username 否 无 String DWS数据库认证用户名,需要和'password'一起配置 password 否 无 String DWS数据库认证密码,需要和'username'一起配置 write.mode 否 无 String 数据写入模式,支持:
单击“权限信息”右侧的“授权”,弹出“授权”对话框。 填写“用户名”,并勾选对应权限。 单击“确定”,完成新用户的添加。 待设置的参数说明如表1所示。 图1 队列权限授权 表1 参数说明 参数名称 描述 用户名 被授权的用户名称。 说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 权限设置
单击“确定”完成添加队列操作。 (可选)步骤三:创建增强型跨源连接 本示例演示的操作需要跨源连接RDS外部数据源,所以需要创建跨源连接。如果作业不需要连接外部数据源,则该步骤可以跳过。 登录RDS控制台,创建RDS数据库实例。 具体操作请参见购买RDS for MySQL实例。 登录RDS实例后,单击
对话框。 “用户名”参数处填写具体要被授权的IAM用户名,并勾选需要赋权给该用户的对应权限。 单击“确定”,完成新用户的权限的设置。 待设置的参数说明如表1所示。 图1 弹性资源池权限授权 表1 参数说明 参数名称 描述 用户名 被授权的用户名称。 说明: 该用户名称是已存在的I
Flink作业怎样设置“异常自动重启”? 场景概述 DLI Flink作业具有高可用保障能力,通过设置“异常自动重启”功能,可在周边服务短时故障恢复后自动重启。 操作步骤 登录DLI控制台,选择“作业管理”>“Flink作业”。 在Flink作业编辑页面,勾选“异常自动重启”。例如,图1所示。 图1 Flink
gauss200.jdbc.Driver。 username 否 无 String DWS数据库认证用户名,需要和'password'参数一起配置。 password 否 无 String DWS数据库认证密码,需要和'username'参数一起配置。 scan.partition.column
Browser+。OBS Browser+支持AK方式登录,以及授权码登录两种登录方式。登录步骤请参考《对象存储服务工具指南》。 通过OBS Browser+上传数据。 在OBS Browser+页面单击“创建桶”,按照要求选择“区域”和填写“桶名”(例如:dli-demo),其他参数保持默认