检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取集群列表为空/没有权限访问/操作时报当前策略不允许执行? 问题描述 在使用CDM时,可能遇到如下权限相关的问题: 跳转到CDM首页,获取到的集群列表为空。 提示没有权限访问,如图1所示。 执行启动作业/重启集群等操作时,报错当前策略不允许执行,如图2所示。 图1 没有权限访问 图2 不允许创建连接
通过SDK调用API前,需要获取如下认证信息: 访问服务前,首先需要得到API的ID、请求URL和请求方法 在数据服务的“API目录”页面,单击API名称,在“完整信息”页面查看API的ID、请求URL和请求方法。 图1 API基础定义 对于APP认证的API,您必须提供有效的AppKey、AppSecret才能够生成认证签名。
数据服务API接口,访问“测试APP”,填写了相关参数,但是后台报错要怎么处理? 可能原因 未配置参数header parameter。 解决方案 在调用API时配置参数header parameter。 header parameter: x-Authorization, nvalid
Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户
同一个API在每个环境中最多记录10条最新的发布历史。 √ 每个API的访问频率 不超过200次/秒。 √ 特殊应用 阈值不超过API流量限制值。 x 子域名访问次数 每个子域名每天最多可以访问1000次。 x 调用请求包的大小 API每次最大可以调用12M的请求包 x TLS协议 支持TLS1
批量授权API(专享版) 功能介绍 APP创建成功后,还不能访问API,如果想要访问某个API,需要将该API授权给APP。API主动授权成功后,在有效期内,APP即可访问该API。API授权包含授权和续约两部分功能。 授权:授权会给予APP在有效期内访问API的权利。 续约:续约会更新授权有效期,仅支持延长有效期,不能减少。
字段分隔符 用于分隔CSV文件中的列的字符,支持单字符和多字符,也支持特殊字符,详见表1。 编码类型 文件的编码类型,默认是UTF-8,中文的编码有时会采用GBK。 如果源端指定该参数,则使用指定的编码类型去解析文件;目的端指定该参数,则写入文件的时候,以指定的编码类型写入。 使用包围符
仅当创建IAM用户时的访问方式勾选“编程访问”后,此IAM用户才能通过认证鉴权,从而使用API、SDK等方式访问DataArts Studio。 各组件API的流量限制请参见API概览。 数据集成API的约束如下: CDM的作业数据量太多,会造成数据库压力,建议定时清理不需要的作业。 短时
数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hdfs_01 单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按钮进行删除。 FusionInsight
stman官方网站下载。 约束与限制 如需在本地调用专享版API,则需在创建专享版集群时绑定一个弹性公网IP,作为实例的公网入口。共享版API默认可通过公网访问。 调用数据服务API时,如果查询及返回数据的总时长超过默认60秒则会报超时错误。此时可通过访问日志中的API调用时长信息,根据超时阶段进一步优化API配置。
字段分隔符 用于分隔CSV文件中的列的字符,支持单字符和多字符,也支持特殊字符,详见表1。 编码类型 文件的编码类型,默认是UTF-8,中文的编码有时会采用GBK。 如果源端指定该参数,则使用指定的编码类型去解析文件;目的端指定该参数,则写入文件的时候,以指定的编码类型写入。 使用包围符
一般云服务DWS默认也是只允许VPC内部访问,创建CDM集群时,必须将CDM的VPC与DWS配置一致,且推荐在同一个内网和安全组,如果不同,还需要配置允许两个安全组之间的数据访问。 端口映射不仅可以用于迁移内网数据库的数据,还可以迁移例如SFTP服务器上的数据。 Linux机器也可以通过IPTABLE实现端口映射。
物理模型:是在逻辑数据模型的基础上,考虑各种具体的技术实现因素,进行数据库体系结构设计,真正实现数据在数据库中的存放,例如:所选的数据仓库是DWS或DLI。 维度建模 维度建模是从分析决策的需求出发构建模型,它主要是为分析需求服务,因此它重点关注用户如何更快速地完成需求分析,同时具有较好的大规模复杂查询的响应性能。
在作业监控页面里的“上次实例状态”只有运行成功、运行失败,这是为什么? 问题描述 在作业监控页面里的“上次实例状态”只有运行成功、运行失败。 解决方案 上次实例状态是作业已经执行完成,只有成功、失败;实例监控里面状态有取消、暂停等好几种,是因为展示了作业的所有状态,另外作业运行异常和错误都会是作业失败的状态。
角色名称:标识自定义角色的唯一标识。建议您按照该角色的使用场景等进行命名,避免无意义的描述。 角色描述:补充对该角色的相关说明,如与预置角色的关键权限差异等。 角色类型:由于简单模式与企业模式下角色权限有所差异,因此需要根据该角色的使用场景来选择角色类型。企业模式的相关介绍请参见企业模式概述。
日益重要的数据和信息资源;同时建立数据持续改进机制,来不断提升数据质量。数据的价值和风险应被有效管理,以支撑企业管理简化、业务流集成、运营效率提升和经营结果的真实呈现。数据准确是科学决策的基础,数据架构和标准的统一是全流程高效运作、语言一致的前提。 当前企业数据面临很多的问题:没
本章节介绍如何在数据开发模块上进行MRS Spark Python作业开发。 案例一:通过MRS Spark Python作业实现统计单词的个数 前提条件: 开发者具有OBS相关路径的访问权限。 数据准备: 准备脚本文件"wordcount.py",具体内容如下: # -*- coding: utf-8
角色名称:标识自定义角色的唯一标识。建议您按照该角色的使用场景等进行命名,避免无意义的描述。 角色描述:补充对该角色的相关说明,如与预置角色的关键权限差异等。 角色类型:由于简单模式与企业模式下角色权限有所差异,因此需要根据该角色的使用场景来选择角色类型。企业模式的相关介绍请参见企业模式概述。
数据标准 数据标准管理着重建立统一的数据语言,各级数据层级业务对象的定义是数据标准的载体,并对应发布各数据层级的数据标准。各业务对象对应物理实现的IT系统需发布相应的数据字典并进行数据源认证。而对于梳理出来,但没有落IT系统的业务对象,需在后继的开发中进行数字化落地。 数据开发
AK/SK签名认证方式仅支持消息体大小12MB以内,12MB以上的请求请使用Token认证。 AK/SK既可以使用永久访问密钥中的AK/SK,也可以使用临时访问密钥中的AK/SK,但使用临时访问密钥的AK/SK时需要额外携带“X-Security-Token”字段,字段值为临时访问密钥的security_token。