检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
接口获取。 datasource_type 否 String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 database 否 String 数据库名称 cluster_name 否 String 集群名称。 请求参数 表3 请求Header参数 参数 是否必选 参数类型
} ] } 参数说明 参数 是否必选 类型 说明 fromJobConfig.database 是 String MongoDB/DDS的数据库名称。 fromJobConfig.collectionName 是 String MongoDB/DDS的集合名称。
资产关联密级 功能介绍 关联资产到密级,资产关联指定密级。 调用方法 请参见如何调用API。 URI PUT /v3/{project_id}/asset/entities/guid/{guid}/security-level 表1 路径参数 参数 是否必选 参数类型 描述 project_id
当“开启LDAP认证”参数选择为“是”时,此参数是必选项。 填写为MRS Hive开启LDAP认证时配置的密码。 - OBS支持 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 否 访问标识(AK) 当“OBS支持”参数选择为“是”时,此参数是必选项。请注意,此处AK/SK对应的账号应具备OBS
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
绑定Agent 是 适用组件勾选数据集成后,呈现此参数。 RDS类型数据源为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建RDS类型的数据连接时,请选择一个CDM集群。如果没有可
不支持。 dws字符型掩码 从start到end的位置脱敏成指定的字符。 仅当静态脱敏任务中源端、目标端数据源同为DWS,且执行引擎为DWS时才可以选择此算法。 支持配置开始位置、结束位置和掩码标志。 dws数值型掩码 从start到end的位置脱敏成指定的数字。 仅当静态脱敏
os 生成一个新的Signer,填入AppKey和AppSecret。 1 2 3 4 5 6 7 8 # 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; # 本示例以ak和sk保存在环境变量中来实现身份
生成一个新的Signer, 填入AppKey和AppSecret。 1 2 3 4 5 6 7 8 // 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身
如何配置Hudi Compaction的Spark周期任务? 问题描述 Migration写入数据到Hudi时为了保证稳定性需要将Compaction任务单独拆成Spark作业并交给MRS执行,那么如何进行配置? 解决方案 修改Migration实时集成作业配置。 Migrati
如何将一个空间的数据开发作业和数据连接迁移到另一空间? 您需要通过导入导出功能,分别将旧空间的数据连接和作业数据导入到新空间内。 数据连接数据,需要在管理中心的资源迁移进行导入导出。具体操作请参考资源迁移。 作业数据,需要在数据开发中将作业导入导出。具体操作请参考导出导入作业。 父主题:
具有DWS Database Access权限。 图1 联通性测试 如果联通性测试失败,可从以下方面进行排查: 确保数据连接上的数据源可用。 数据连接中的Agent选择的CDM集群应为2.10.0.300及以上版本。 已完成用户同步,用户同步操作请参考同步IAM用户到数据源。 DWS连接:
表示准确性,Consistency表示一致性。 type String 规则类型,Field表示字段级规则,Table表示表级规则,Database表示库级规则,Cross-field表示跨字段级规则,Customize表示自定义规则。 system_template Boolean
Json格式的请求消息体。 仅当请求类型为POST、PUT和HEAD时,根据实际需要才需要配置请求消息体。 CloudSearch输出路径 否 选择输出数据的存储路径。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间
目的端作业参数说明 目的端为关系数据库 目的端为OBS 目的端为HDFS 目的端为Hive 目的端为HBase/CloudTable 目的端为DDS 目的端为Elasticsearch/云搜索服务 目的端为DLI 目的端为DIS 父主题: 附:公共数据结构
详细操作请参见查看DAG图。 全量导出 单击“全量导出”,进入到“导出全量数据”页面,单击“确认”。导出完成后,请到下载中心查看导出的内容。 如果没有配置默认存储路径,单击“批量导出”后,配置存储路径,可以将该存储路径设为OBS默认地址。 当前导出数据量最大为30M,超过30M系统会自动截断。
资产关联分类 功能介绍 将一个分类关联到一个或多个指定guid的资产上。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/asset/entities/guid/{guid}/classification 表1 路径参数 参数 是否必选 参数类型
批量资产关联密级 功能介绍 批量资产关联密级:单个密级关联到多个资产上。 调用方法 请参见如何调用API。 URI PUT /v3/{project_id}/asset/entities/security-level 表1 路径参数 参数 是否必选 参数类型 描述 project_id