正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在弹出的窗口中单击添加,填写项目ID并确认,即可设置此API在服务目录中额外对以该项目下的用户可见。 项目ID可以参考如下步骤进行获取: 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。
从下拉列表中选择MRS Hive数据源或MRS Spark数据源。 *数据连接 从下拉列表中选择数据连接类型中已创建的数据连接,若未创建请参考创建DataArts Studio数据连接新建连接。 *集群名称 无需选择,自动匹配数据连接中的数据源集群。 *数据库 选择敏感数据所在的数据库。 *数据表
创建DWS数据连接时报错提示“The account has been locaked”怎么处理? 问题原因 连接DWS集群输入密码错误的次数达到集群参数failed_login_attempts所设置的值(默认10)时,账户将会被自动锁定。 解决方案 解锁方式参考账号被锁住了,如何解锁?
FgacSingleUpdateReq objects 细粒度认证数据开发连接列表。 表4 FgacSingleUpdateReq 参数 是否必选 参数类型 描述 dw_id 否 String 数据连接id,获取方法请参见查询细粒度认证数据源连接列表。 fgac_flag 否 Boolean 是否开启细粒度认证
deleteDirectoryList 创建数据连接 dataWarehouse createDataWarehouse 测试数据连接 dataWarehouse testDataWarehouseConnectivity 更新数据连接 dataWarehouse updateDataWarehouse
数据安全管理制度文件 技术工具 数据安全技术体系并非单一产品或平台的构建,而是覆盖数据全生命周期,结合组织自身使用场景的体系建设。依照组织数据安全建设的方针总则,围绕数据全生命周期各阶段的安全要求,建立与制度流程相配套的技术和工具。 图3 数据安全技术体系 其中基础通用技术工具为数据全生命周期的安全提供支撑:
API_SPECIFIC_TYPE_REGISTER:注册类API API_SPECIFIC_TYPE_ORCHESTRATE:编排类API API_TYPE_CREATE:创建类API(已弃用) API_TYPE_REGISTER:注册类API(已弃用) auth_type 否 String
配置Elasticsearch/云搜索服务源端参数 作业中源连接为Elasticsearch连接参数说明或云搜索服务(CSS)连接参数说明时,源端作业参数如表1所示。 表1 Elasticsearch/云搜索服务作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 索引
创建数据连接时,在代理模式下为什么选不到需要的CDM集群? 可能原因 创建数据连接时,在代理模式下选不到需要的CDM集群,可能是由于CDM集群关机。 解决方案 请确认CDM集群是否被关机。如果关机,请重新启动。 父主题: 数据开发
测试数据开发连接细粒度连通性 功能介绍 测试数据开发连接细粒度连通性。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/fgac/dlf/datawarehouses/{dw_id} 表1 路径参数 参数 是否必选 参数类型
配置HBase/CloudTable目的端参数 作业中目的连接为HBase连接或CloudTable连接时,即导入数据到以下数据源时,目的端作业参数如表1所示。 表1 HBase/CloudTable作为目的端时的作业参数 参数名 说明 取值样例 表名 写入数据的HBase表名。
数据API调用;当使用其他认证方式时,可以通过API调用工具或浏览器调用。 APP认证:将APP认证方式的API授权给应用后,使用应用的密钥对(AppKey和AppSecret)进行安全认证,支持通过SDK或API调用工具调用,安全级别高,推荐使用。 IAM认证:将IAM认证方式
SQL脚本执行失败,界面只显示执行失败,没有显示具体的错误原因,可能是由于连接方式导致的。 解决方案 请确认当前Hive SQL和Spark SQL脚本使用的数据连接为“MRS API连接”还是“通过代理连接”。 “MRS API连接”模式下DataArts Studio通过API把脚本提交给
配置分库源端参数 作业中源连接为分库连接,源端作业参数如表1所示。 表1 分库作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,分库连接时此处默认展示对应第一个后端连接的表空间。用户也可以直接输入模式或表空间名称。
和内容规则。 *数据源类型 当前仅支持DWS数据源。 *数据连接 从下拉列表中选择数据连接类型中已创建的数据连接,若未创建请参考创建DataArts Studio数据连接新建连接。 *集群名称 无需选择,自动匹配数据连接中的数据源集群。 *数据库 选择行数据所在的数据库。 *数据表
Python节点运行的输出结果不能大于30M,大于30M会报错。 主机连接 是 选择执行Python语句的主机。需确认该主机配有用于执行Python脚本的环境。 须知: Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSess
一个空间可以创建同一数据源的多个连接吗? 工作空间内允许创建多个同一数据源的连接,但是连接的名字不能相同。 需要注意的是,为便于后续开发过程中选择到正确的数据连接,建议您为连接做好命名区分,避免出现混淆。 父主题: 管理中心
为什么在创建数据连接的界面上MRS Hive/HBase集群不显示? 出现该问题的可能原因有: 创建MRS集群时未选择Hive/HBase组件。 创建MRS集群时所选择的企业项目与工作空间的企业项目不同。 创建MRS数据连接时所选择的CDM集群和MRS集群网络不互通。 CDM集群
DataWareHouseDTO objects 数据开发细粒度连接列表。 表5 DataWareHouseDTO 参数 参数类型 描述 dw_id String 数据连接ID。 dw_name String 数据连接名称。 dw_type String 数据连接类型: HIVE数据源 DWS数据源 SPARK数据源
配置DWS源端参数 作业中源连接为DWS连接时,源端作业参数如表1所示。 表1 DWS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,