检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群创建时,组件要包含Hive。 已开通数据集成CDM,并创建CDM集群,为数据开发模块提供数据开发模块与MRS通信的代理。 CDM集群创建时,需要注意:虚拟私有云、子网、安全组与MRS集群保持一致,确保网络互通。 建立Hive的数据连接 开发Hive SQL前,我们需要在“管理中心
选择ModelArts工作空间。该工作空间必须与DataArts Studio在同一区域、同一Region。 工作流版本 是 选择ModelArts工作流版本。 V1 V2 ModelArts工作流 是 选择ModelArts工作流。该工作流必须是与DataArts Studio在同一区
单击“连接管理”,在“操作”列中,单击“连接”进行编辑。 图3 连接 打开高级属性,在“连接属性”中建议新增“connectTimeout”与“socketTimeout”参数及参数值,单击“保存”。 图4 编辑高级属性 父主题: 数据集成(CDM作业)
开发通知主题的场景下,除了请求订阅外,还需要再进行关联订阅后才能收到权限到期提醒。 订阅列表中的订阅通过备注与用户关联,备注为用户名的订阅,视作相应用户的订阅。 订阅列表与主题绑定,切换主题后,需重新配置订阅提醒。 已配置的终端信息不支持编辑,如果手机号、邮箱等终端发生变化,需删除后重新添加并请求订阅。
DECIMAL 与 NUMERIC 相似。 52.36 DECIMAL NUMERIC DEC 与 DECIMAL 相同。 52.36 DECIMAL NUMERIC INTEGER 用于存储有符号整数,精度为10,标度为0。 5236 INT INTEGER INT 与 INTEGER
HD时,需要配置Manager平台的端口。 linkConfig.casPort 否 String 连接FusionInsight HD时,需要配置与FusionInsight HD对接的CAS Server的端口。 linkConfig.hBaseVersion 是 枚举 HBase版本:
参数名称 说明 API版本 仅专享版支持指定API版本调试。 当未指定API版本时,默认调试的是未发布的API。 参数配置 Query的参数与参数值。 集群配置 仅专享版支持,选择调试API所依托的实例。 测试完成后,单击“确定”返回API列表。已成功修改的API会在API名称后添加“已编辑”标签。
Studio服务的业务能力,完成数据治理业务流程设计,后续的数据治理操作均基于所设计的业务流程完成。 需求分析 业务调研 流程设计 流程设计与实际业务强相关,您可以参考基于出租车出行数据的数据治理流程设计进行流程设计,或通过咨询了解。 购买并配置DataArts Studio 如果您是第一次使用DataArts
lt 测试是否小于 > 或 gt 测试是否大于 <= 或 le 测试是否小于等于 >= 或 ge 测试是否大于等于 && 或 and 测试逻辑与 || 或 or 测试逻辑或 ! 或 not 测试取反 empty 测试是否空值 ?: 类似if else表示式。如果?前面的语句为true,返回
配置。 常见配置举例如下: connectTimeout=600000与socketTimeout=300000:迁移数据量较大、或通过查询语句检索全表时,会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间(单位ms),避免超时导致失败。 tinyInt1isBit=false或mysql
始文件格式,适用于文件到文件的迁移。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,此处的“文件格式”只能选择与源端的文件格式一致。 CSV格式 重复文件处理方式 当源端为文件类数据源(HTTP/FTP/SFTP/HDFS/OBS)时配置。 只有文件名
多IF条件下当前节点的执行策略 如果当前节点的执行依赖多个IF条件的节点,执行的策略包含逻辑或和逻辑与两种。 当执行策略配置为逻辑或,则表示多个IF判断条件只要任意一个满足条件,则执行当前节点。 当执行策略配置为逻辑与,则表示多个IF判断条件需要所有条件满足时,才执行当前节点。 如果没有配置执行策略,系统默认为逻辑或处理。
始文件格式,适用于文件到文件的迁移。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,此处的“文件格式”只能选择与源端的文件格式一致。 说明: 当源端为MRS Hive数据源时,仅支持配置CSV格式。 当源端为FTP/SFTP数据源时,仅支持配置二进制格式。
数据服务定位于标准化的数据服务平台,提供了快速将数据表生成数据API的能力,帮助您简单、快速、低成本、低风险地实现数据开放。 数据服务当前提供共享版与专享版两种服务方式,差异请参见共享版与专享版数据服务的对比。其中数据服务共享版即开即用但仅限于存量用户调测使用,数据服务专享版需要通过数据服务专享集群增量包创建集群后使用。
始文件格式,适用于文件到文件的迁移。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,此处的“文件格式”只能选择与源端的文件格式一致。 说明: 当源端为MRS Hive数据源时,仅支持配置CSV格式。 当源端为FTP/SFTP数据源时,仅支持配置二进制格式。
您选用大规格的CDM集群规格进行数据迁移。 使用多个CDM集群 包含但不限于以下情况时,建议您使用多个CDM集群进行业务分流,提升迁移效率与业务稳定性。 需要作为不同的用途或给多个业务部门使用。例如既需要用于数据迁移作业,又需要作为DataArts Studio管理中心连接代理时,建议各配置至少一个CDM集群。
多IF条件下当前节点的执行策略 如果当前节点的执行依赖多个IF条件的节点,执行的策略包含逻辑或和逻辑与两种。 当执行策略配置为逻辑或,则表示多个IF判断条件只要任意一个满足条件,则执行当前节点。 当执行策略配置为逻辑与,则表示多个IF判断条件需要所有条件满足时,才执行当前节点。 如果没有配置执行策略,系统默认为逻辑或处理。
该参数。将该自定义规则与质量六性(完整性、有效性、及时性、一致性、准确性、唯一性)进行关联。 输出结果说明 当“规则类型”选择“自定义规则”时,需要配置该参数。 对SQL获得结果的每一列进行说明,与SQL关系定义的输出结果顺序一一对应,输出结果说明字段个数与SQL的输出参数个数不相等时,会保存失败并提示报错信息。
encryption”(加密方式)选择“AES-256-GCM”时有该参数,密钥由长度64的十六进制数组成。 请您牢记这里配置的密钥,解密时的密钥与这里配置的必须一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 toJobConfig.iv 否 String 初始化向量,“toJobConfig
角色)、动态脱敏策略和密钥。 前提条件 在30天内对权限集(包含空间权限集、权限集以及通用角色)、动态脱敏策略和密钥进行过删除操作。 约束与限制 仅DAYU Administrator、Tenant Administrator或者数据安全管理员可以执行还原操作,其他普通用户无权限操作。