检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
和提交版本。 保存版本时,一分钟内多次保存只记录一次版本。对于中间数据比较重要时,可以通过“新增版本”按钮手动增加保存版本。 支持单击右键,可快速复制脚本名称,同时可以快速的关闭已打开的脚本页签。 在MRS API连接模式下,MRS Spark SQL和MRS Hive SQL脚
配置。 检测网络连通性:数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试,会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性检测异
如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,
"OpenAPI_DWS_test", "datasource_type" : "DWS", "cluster_id" : "c94a9133-ef65-47ad-9483-bfa8c5eaa101", "cluster_name" : "dws_ssl_4autotest_nomodify",
"OpenAPI_DWS_test", "datasource_type" : "DWS", "cluster_id" : "c94a9133-ef65-47ad-9483-bfa8c5eaa101", "cluster_name" : "dws_ssl_xxxx_nomodify", "database_name"
管理。 前提条件 为成员添加或删除所在的角色/权限集前,已完成权限集或角色的配置,请参考配置权限集或配置角色。 约束与限制 仅DAYU Administrator、Tenant Administrator、数据安全管理员或者角色/权限集管理员可以为成员添加或删除所在的角色/权限集。
然后单击“确定”,完成数据的还原。 报错:如果有重名数据,则报错且不还原重名的数据。 名称添加时间戳:如果有重名数据,则在还原数据的原名称后添加时间戳信息(原名称_13位时间戳)。如果添加时间戳后总长度超过64,会对原名称进行截断操作,确保总长度不会超出64的限制。 图3 选择同名处理方式
md5 迁移文件或对象时支持文件级增量迁移(通过配置跳过重复文件实现),但不支持断点续传。 例如要迁移3个文件,第2个文件迁移到一半时由于网络原因失败,再次启动迁移任务时,会跳过第1个文件,从第2个文件开始重新传,但不能从第2个文件失败的位置重新传。 文件迁移时,单个任务支持千万
在分页查询时,您可以通过参数(参数名use_total_num)控制是否计算并返回数据总条数。 例如,第一次查询时添加入参use_total_num=1获取数据总条数,后续再次请求接口时添加入参use_total_num=0不获取数据总条数。 图2 数据总条数 父主题: 数据服务
群,请参考创建CDM集群进行创建。 CDM集群作为网络代理,必须和DWS集群网络互通才可以成功创建DWS连接,为确保两者网络互通,CDM集群必须和DWS集群处于相同的区域、可用区,且使用同一个VPC和子网,安全组规则需允许两者网络互通。 数据源认证及其他功能配置 使用委托 否 “
强大的血缘信息及影响分析。 在数据地图中,可通过关键词搜索数据资产,支持模糊搜索,快速检索,定位数据。 使用数据地图根据表名直接查看表详情,快速查阅明细信息,掌握使用规则。获得数据详细信息后,可添加额外描述。 通过数据地图的血缘分析可以查看每个数据表的来源、去向,并查看每个表及字段的加工逻辑。
如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,
HD和Apache Hadoop数据源在用户本地数据中心部署时,由于读写Hadoop文件需要访问集群的所有节点,需要为每个节点都放通网络访问。 推荐使用云专线服务,解决网络访问的同时,还可以提升迁移速度。 数据仓库服务(DWS)数据源约束 DWS主键或表只有一个字段时,要求字段类型必须是如下
的CDM集群,请参考创建CDM集群进行创建。 数据集成配置 数据库名称 是 要连接的数据库。 直连模式 否 是否直连,适用于主节点网络通,副本节点网络不通场景。 属性配置 否 自定义连接属性,当前支持socketTimeout,maxWaitTime,connectTimeout
"HIGH_RISK" }, "scanning" : false, "task_id" : "695e9ea4dd864e55b5dbdd91ad61ebd0" } 状态码 状态码 描述 200 OK 父主题: 数据安全诊断接口
配置DataArts Studio数据连接参数 DWS数据连接参数说明 DLI数据连接参数说明 MRS Hive数据连接参数说明 Apache Hive数据连接参数说明 MRS HBase数据连接参数说明 MRS Kafka数据连接参数说明 MRS Spark数据连接参数说明 MRS
配置。 检测网络连通性:数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试,会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性检测异
配置。 检测网络连通性:数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试,会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性检测异
masking-result?limit=10&offset=0&diagnose_id=695e9ea4dd864e55b5dbdd91ad61ebd0 响应示例 状态码: 200 OK { "total" : 1, "tables" : [ { "id" :
也可以关联自己创建的质量规则。 单击弹出“关联质量规则”对话框,单击“添加规则”进行设置。 例如,添加名称为“字段唯一值”规则,选中该规则后单击“确定”,在“告警条件”中输入告警条件表达式,然后按照此方法添加其他规则后,单击“确定”。 告警条件表达式,由告警参数和逻辑运算符组成。