检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
变量 您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变量的语法:${variable},其中“variable”指的是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。
目的端索引存在但是获取不到字段信息时,支持手动填写字段。路由字段允许为空,为空时写入Elasticsearch不指定routing值。
变量 您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变量的语法:${variable},其中“variable”指的是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。
背景信息 不同版本的DataArts Studio实例的规格请参见版本规格说明。 您可以在DataArts Studio实例卡片上,通过“更多 > 查看增量包”,查看已购买的增量包。
data Object 返回的数据信息。 状态码:403 表9 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.6000,请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。
通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。
支持单击“基线链路”按钮,可以查看作业所属的基线链路信息。如果作业没有关联基线,则按钮置灰。 开发作业前,您可以通过图1了解数据开发模块作业开发的基本流程。
KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。 绑定Agent 是 选择CDM集群作为网络代理,必须和ClickHouseServer网络互通才可以成功创建连接。如果没有可用的CDM集群,请参考创建CDM集群进行创建。
目的端索引存在但是获取不到字段信息时,支持手动填写字段。路由字段允许为空,为空时写入Elasticsearch不指定routing值。
环境信息 CDM集群为xlarge规格,2.9.1 200版本。 性能测试中,表数据规格为5000W行100列,HDFS二进制文件数据规格分别为3597W行100列、6667W行100列和10000W行100列。
变量 您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变量的语法:${variable},其中“variable”指的是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。
error_msg String 错误信息。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。
图2 开启细粒度认证 参考:为MRS数据连接用户配置代理权限 用户在DataArts Studio上通过MRS Hive或Spark数据连接访问数据源时,默认使用数据连接中配置的账号信息访问。
engine_version 否 String 引擎版本信息。 instance_id 否 String 引擎的实例ID, MRS、DWS必填。 project_id 否 String 项目ID,DLI必填。
状态码: 400 表6 响应Body参数 参数 参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。
状态码: 400 表6 响应Body参数 参数 参数类型 描述 error_msg String 返回的错误信息。 error_code String 返回的错误码。
查看表详情 单击,查看节点输出血缘关系创建数据表的详细信息。 父主题: 节点参考
查看表详情 单击,查看节点输出血缘关系创建数据表的详细信息。 父主题: 节点参考
填写分区信息后,表示清空该分区的数据。 year=2020,location=sun 新增dli-trans*内部临时桶授权策略 登录统一身份认证服务IAM控制台。 在左侧导航窗格中,选择“权限管理>权限”页签,单击右上方的“创建自定义策略”。
实时同步过程中,不允许源数据库MySQL跨大版本升级,否则可能导致数据不一致或者同步任务失败(跨版本升级后数据、表结构、关键字等信息均可能会产生兼容性改变),建议在该场景下重建同步任务。