检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Password类型跨源认证 操作场景 通过在DLI控制台创建的Password类型的跨源认证,将DWS、RDS、DCS和DDS数据源的密码信息存储到DLI,无需在SQL作业中配置账号密码,安全访问DWS、RDS、DDS、DCS数据源。 Password类型跨源认证支持连接的数据源 Password类型跨源认证支持连接的数据源如表1所示。
部分或全部数据重写。 列的默认值设置要与列的类型一致,如不一致会进行类型强转,导致默认值精度丢失或者默认值为NULL。 历史数据的默认值与列第一次设置的默认值一致,多次修改列的默认值不会影响历史数据的查询结果。 设置默认值后rollback不能回滚默认值配置。 Spark SQL
输入长度不能超过128个字符。 建议名称中包含CSS安全集群的名称,便于区分不同集群的安全认证信息。 类型 选择CSS。 用户名 安全集群的登录用户名。 用户密码 安全集群的登录密码。 Certificate路径 上传“安全证书”的OBS路径。即步骤2的OBS桶地址。 图1 创建认证信息-CSS 访问CSS的表。
创建Kerberos跨源认证 操作场景 通过在DLI控制台创建的Kerberos类型的跨源认证,将数据源的认证信息存储到DLI,无需在SQL作业中配置账号密码,安全访问数据源。 MRS Kafka开启Kerberos认证,未开启SSL认证时,创建Kerberos类型的认证。建表时通过krb_auth_name关联跨源认证。
SQL使用DEW管理访问凭据 操作场景 DLI将Flink作业的输出数据写入到Mysql或DWS时,需要在connector中设置账号、密码等属性。但是账号密码等信息属于高度敏感数据,需要做加密处理,以保障用户的数据隐私安全。 数据加密服务(Data Encryption Worksho
jks文件的OBS路径。 Truststore密码 truststore密码。 Keystore路径 上传SSL KEYSTORE(密钥和证书)文件的OBS路径。 Keystore密码 keystore(密钥和证书)密码。 Key密码 keystore中的私钥密码。 图1 创建认证信息-Kafka_SSL
的Kafka,配置时需指定KafkaTruststore路径和密码。详细操作请参考创建Kafka_SSL类型跨源认证。 Password类型的跨源认证:适用于DWS、RDS、DDS、DCS数据源,配置时将数据源的密码信息存储到DLI。详细操作请参考创建Password类型跨源认证。
构建高可用性系统的需求。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目,并在子项目中购买
unit label},如123ms, 321s,支持的时间单位包括: d,h,min,s,ms等,默认为ms。 lookup.max-retries 否 维表配置,数据拉取最大重试次数,默认为3。 pwd_auth_name 否 DLI侧创建的Password类型的跨源认证名称。 数据类型映射
访问密钥即AK/SK(Access Key ID/Secret Access Key),表示一组密钥对,用于验证调用API发起请求的访问者身份,与密码的功能相似。用户通过调用API接口进行云资源管理(如创建集群)时,需要使用成对的AK/SK进行加密签名,确保请求的机密性、完整性和请求双方
DLI增强型跨源连接DWS失败怎么办? 问题现象 客户创建增强型跨源连接DLI和DWS,安全组已配置出方向规则到关联队列,使用的是密码形式的跨源认证,报DLI.0999: PSQLException: The connection attempt failed。 原因分析 出现该问题可能原因如下:
(已废弃)RDS用户名。 password (已废弃)RDS用户名密码。 passwdauth 跨源密码认证名称。跨源认证信息创建方式请参考《数据湖探索用户指南》>《跨源认证》。 encryption 使用跨源密码认证时配置为“true”。 partitionColumn 读取数据时,用于设置并发使用的数值型字段。
X版本时,该参数只需要填写index即可。 pushdown CSS的下压功能是否开启,默认为“true”。包含大量IO传输的表在有where过滤条件的情况下能够开启pushdown降低IO。 strict CSS的下压是否是严格的,默认为“false”。精确匹配的场景下比pushdown降低更多IO。
password (已废弃)创建DCS集群时填写的密码。访问非安全Redis集群时不需要填写。 passwdauth 跨源密码认证名称。跨源认证信息创建方式请参考《数据湖探索用户指南》>《跨源认证》。 encryption 使用跨源密码认证时配置为“true”。 table 对应Redis中的Key或Hash
Elasticsearch所在集群的账号。该账号参数需和密码“connector.password”参数同时配置。 使用账号密码参数时,创建的云搜索服务集群必须开启安全模式并且关闭https。 connector.password 否 Elasticsearch所在集群的密码。该密码参数需和“connector
创建DLI表关联HBase 功能描述 使用CREATE TABLE命令创建DLI表并关联HBase上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联HBase之前
区域:选择与DLI服务相同的区域 项目:默认 可用区:默认 实例名称:kafka-dliflink 规格类型:默认 企业项目:default 版本:默认 CPU架构:默认 代理规格:选择对应的规格 代理数量:默认 存储空间:默认 容量阈值策略:默认 虚拟私有云,子网:选择1中创建的虚拟私有云和子网。
(已废弃)DWS的用户名。 password (已废弃)DWS集群的用户密码。 passwdauth 跨源密码认证名称。跨源认证信息创建方式请参考《数据湖探索用户指南》>《跨源认证》。 encryption 使用跨源密码认证时配置为“true”。 partitionColumn 读取数据时,用于设置并发使用的数值型字段。
(已废弃)访问DDS集群用户名。 password (已废弃)访问DDS集群密码 passwdauth 跨源密码认证名称。跨源认证信息创建方式请参考《数据湖探索用户指南》>《跨源认证》。 encryption 使用跨源密码认证时配置为“true”。 如果在DDS中已存在collection
keystore-password keystore的password,-表示需要用户输入自定义设置的密码值。 是 - security.ssl.key-password ssl key的password,-表示需要用户输入自定义设置的密码值。 是 - security.ssl.truststore truststore存放路径,“flink