正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 参数值。 query 否 String 搜索框输入。 filter 否 DataMapFilterCriteria object 查询过滤条件。 guid_list 否 Array of strings guid列表。 trace_id 否 String 跟踪id。 source_trace_id
project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String CDM集群ID,获取方法请参见查询集群列表。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 消息体的类型
参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。
中小企业规模,具备全职数据开发治理人员,需要轻量数据治理能力,如数据质量、数据目录和数据服务等,性价比首选。 企业版 有完善的数据管理团队和体系,中大型企业规模,需要进行企业信息架构、数据标准、数据模型、数据指标的落地,匹配完整的DAYU数据治理方法论。 DataArts Studio版本规格说明 DataArts
此时可按以下步骤依次排查: 确认失败作业为调度中的作业。测试运行的作业是不发通知的,只有调度中的作业才会发SMN通知。 在“运维调度 > 通知管理”中查看此作业的通知配置开发是否为打开状态。 登录SMN页面,排查对应的SMN主题是否有被订阅。 排查对应SMN主题的订阅终端中是否有自己的终端名,还需确认订阅的状态是“已确认”。
周期调度依赖原理的理解有误导致的。 如下图,月周期的作业依赖天周期的作业。为什么在天周期的作业还未跑完,月周期的作业已经开始运行? 图1 查看作业调度周期及依赖属性 解决方案 事实上,月周期的作业依赖天周期作业指的是当月的月周期作业是否运行取决于上月的天周期作业是否全部运行完成,而不是由当月的天周期作业决定。
HBase连接参数说明 目前CDM支持连接的HBase数据源有以下几种: MRS HBase FusionInsight HBase Apache HBase 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 MRS HBase
ut.txt文件,会报错)。 单击“测试运行”,执行该MRS Flink作业。 待测试完成,执行“提交”。 在“作业监控”界面,查看作业执行结果。 查看OBS桶中返回的记录(没设置返回可跳过)。 父主题: 使用教程
用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择“云数据迁移服务”,进入CDM主界面查看集群,若未提示权限不足,表示“CDM ReadOnlyAccess”已生效。 在“服务列表”中选择除CDM服务外的任一服务,若提示权限不足,表示“CDM
code String 返回编码。 errCode String 错误码。 message String 报错信息。 externalMessage String 附加信息。 状态码: 500 表14 响应Body参数 参数 参数类型 描述 message String 错误描述。
常量参数即参数值是固定的参数,不需要重新配置值。例如“lable”=“friends”用来标识常量值。 变量 您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变量的语法:${variable},其中“variable”指的是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。
常量参数即参数值是固定的参数,不需要重新配置值。例如“lable”=“friends”用来标识常量值。 变量 您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变量的语法:${variable},其中“variable”指的是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。
默认使用ClickHouseServer的配置参数http_port,用于接收JDBC请求的端口。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。 绑定Agent 是 选择CDM集群作为网络代理,必须和ClickHouseServer网络互通才可以成功创建连接。
文中提供的性能指标仅用于参考,实际环境会受源或目标数据源性能、网络带宽及时延、数据及业务模型等因素影响。推荐您在正式迁移前,可先用小数据量实测进行速度摸底。 环境信息 CDM集群为xlarge规格,2.9.1 200版本。 性能测试中,表数据规格为5000W行100列,HDFS二进制文件数据规格分别为3
常量参数即参数值是固定的参数,不需要重新配置值。例如“lable”=“friends”用来标识常量值。 变量 您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变量的语法:${variable},其中“variable”指的是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。
同步”,即可立即发起一次任务运行,数据安全开始订阅消费、启动消费、生成策略并同步Ranger。 查看订阅任务详情:在动态脱敏订阅页签,找到需要查看的任务,单击对应任务操作栏中的“详情”即可查看任务详情。 图4 查看任务详情 参考:Kafka消息格式要求 第三方平台的动态脱敏策略需要发布到Kafk
引擎版本信息。 instance_id 否 String 引擎的实例ID, MRS、DWS必填。 project_id 否 String 项目ID,DLI必填。 events 否 Array of CatalogMetaDataEventInfo objects 资产信息。 表4
参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。
在“服务列表”中选择数据治理中心,进入DataArts Studio实例卡片。从实例卡片进入控制台首页后,确认能否正常查看工作空间列表情况。 进入已添加当前用户的工作空间业务模块(例如管理中心),查看能否根据所配置的工作空间角色,正常进行业务操作。 父主题: 咨询与计费
当源端为Kafka时,如果DLI导入前清空数据,则不支持INSERT_OVERWRITE。 TRUNCATE 分区 “导入前清空数据”设置为“是”时,呈现此参数。 填写分区信息后,表示清空该分区的数据。 year=2020,location=sun 新增dli-trans*内部临时桶授权策略 登录统一身份认证服务IAM控制台。