检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
跨源连接HBase表 创建DLI表关联HBase 插入数据至HBase表 查询HBase表 父主题: Spark SQL语法参考(即将下线)
使用标签标识云资源。包括标签键和标签值。 单击“确定”,创建增强型跨源连接。 账号A将1创建的增强型跨源连接授权给账号B使用。 账号A在增强型跨源连接的列表页面,单击操作列下的“更多 > 权限管理”。 选择赋权,输入账号B所在的项目ID,将该连接共享给账号B,授予账号B使用连接访问共享VPC资源的权限。 获取项目ID请参考获取项目ID。
修改普通队列的网段 使用增强型跨源时,如果DLI队列的网段和用户数据源的网段发生冲突,您可以通过修改网段操作更改包年包月队列的网段。 如果待修改网段的队列中有正在提交或正在运行的作业,或者该队列已经绑定了增强型跨源,将不支持修改网段操作。 本节操作仅适用于普通队列,不适用于弹性资源池队列。
配置DLI访问其他云服务的委托权限 DLI委托概述 创建DLI自定义委托权限 常见场景的委托权限策略 典型场景DLI委托权限配置示例
通过公网地址连接,请指定为集群“公网访问地址”或“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。 dbadmin:创建集群时设置的默认管理员用户名。 -W:默认管理员用户的密码。 在命
options”。 关键字 表1 CREATE TABLE关键字说明 参数 描述 url DDS的连接信息,需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 创建增强型跨源连接后,使用DDS提供的"随机连接地址",格式为: "IP:PORT[,IP:PORT]/[DATABASE][.C
开发说明 支持对接CloudTable的OpenTSDB和MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
增强型跨源连接权限管理 操作场景 增强型跨源支持项目级授权,授权后,项目内的用户具备该增强型跨源连接的操作权。可查看该增强型跨源连接、可将创建的弹性资源池与该增强型跨源连接绑定、可自定义路由等操作。以此实现增强型跨源连接的跨项目应用。本节操作介绍对增强型跨源连接授权或回收权限的操作步骤。
Management,简称IAM)进行精细的企业级多租户管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全地控制华为云资源的访问。 通过IAM,您可以在华为云账号中给员工创建IAM用户,并使用策略来控制他们对华为云资源的访问范围。 目前包括角色(粗粒度授权)和策略(细粒度授权)
增强型跨源连接类 增强型跨源连接绑定队列失败怎么办? DLI增强型跨源连接DWS失败怎么办? 创建跨源成功但测试网络连通性失败怎么办? 怎样配置DLI队列与数据源的网络连通? 为什么DLI增强型跨源连接要创建对等连接? DLI创建跨源连接,绑定队列一直在创建中怎么办? 新建跨源连
String USER_BUCKET_NAME为用户的桶名,需要进行替换为用户的使用的OBS桶名。 参数的值为用户定义在CSMS通用凭证中的键key, 其Key对应的value为用户的AK(Access Key Id),需要具备访问OBS对应桶的权限。 flink.hadoop.fs
面。在“实例管理页面”,找到您已经创建的RDS实例,获取其内网地址。 图5 内网地址 单击所创建RDS实例的“登录”,跳转至“数据管理服务-DAS”。输入相关账户信息,单击“测试连接”。显示连接成功后,单击“登录”,进入“实例登录”页面。 图6 实例登录 登录RDS实例后,单击“
(DWS),MapReduce服务MRS,云数据库RDS等。使用DLI的跨源能力,需要先创建跨源连接。 管理控制台界面具体操作请参考《数据湖探索用户指南》。 使用Spark作业跨源访问数据源支持使用scala,pyspark和java三种语言进行开发。 表格存储服务CloudTa
Opensource SQL使用DEW管理访问凭据的配置方法。 创建DLI与Mysql的增强型跨源连接。详细步骤请参考创建增强型跨源连接。 创建DLI访问DEW的委托并完成委托授权。详细步骤请参考自定义DLI委托权限。 在DEW创建通用凭证。详细操作请参考创建通用凭据。 登录DEW管理控制台 选择“凭据管理”,进入“凭据管理”页面。
运行Spark作业,作业运行失败,作业日志中提示java server connection或container启动失败。 解决方案 确认是否已修改跨源连接的主机信息,如果没有,请参考DLI跨源连接中配置MRS主机信息修改主机信息。重新创建和提交Spark作业。 问题2:运行Spark作业,作业运行失败,作业日志中提示KrbException:
ASE"二选一,大小写不敏感。 ZKHost HBase集群的ZK连接地址。 获取ZK连接地址需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 访问CloudTable集群,填写ZK连接地址(内网)。 访问MRS集群,填写ZK所在节点IP与ZK对外端口,格式为:"ZK_IP1:ZK_PORT1
参数 描述 host DCS的连接IP,需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 创建增强型跨源连接后,使用DCS提供的"连接地址"。"连接地址"有多个时,选择其中一个即可。 说明: 访问DCS目前只支持增强型跨源。 port DCS的连接端口,例如6379。 password
TABLE关键字说明 参数 描述 url RDS的连接地址,需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 创建经典型跨源连接后,使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后,使用RDS提供的"内网域名"或者内网地址和数据库端口访问,MySQL格式为"协议头://内网I
String 其中USER_BUCKET_NAME为用户的桶名,需要进行替换为用户的使用的OBS桶名。 参数的值为用户定义在CSMS通用凭证中的键key, 其Key对应的value为用户的AK(Access Key Id),需要具备访问OBS对应桶的权限。 spark.hadoop.fs
详细请参考《NAT网关用户指南》中“添加SNAT规则”。 使用场景选择云专线/云连接。 添加专属队列所在的网段。 绑定对应的弹性公网IP。 图7 添加SNAT规则 添加完成后,单击“确定”。 步骤6:添加自定义路由 在增强型跨源连接页面添加自定义路由。此处添加的是访问的IP地址的路由信息。