检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
否 存储模式 导入数据到DWS且选择自动创表时,用户可以指定存储模式: 行模式:表的数据将以行式存储,适用于点查询(返回记录少,基于索引的简单查询),或者增删改比较多的场景。 列模式:表的数据将以列式存储,适用于统计分析类查询(group、join多的场景),或者即席查询(查询条
数据连接 是 选择管理中心中已创建的MRS Kafka连接。 Topic名称 是 选择MRS Kafka中已创建的Topic,使用SDK或者命令行创建。具体操作请参见从零开始使用Kafka。 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>
云数据迁移(Cloud Data Migration,简称CDM)是一种高效、易用的数据集成服务。CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。更多详情请参见云数据迁移服务。
ax表示服务器发出请求后客户端没有响应的次数达到一定值,就自动断开,正常情况下,客户端会正常响应。 修改后,重启ECS的sshd,执行如下命令: restart sshd.service 检查sshd是否启动成功(下图为成功): 父主题: 数据开发
M-dd,-1,DAY)}',即可将符合DS=‘2017-10-15’条件的数据导出。 时间宏变量和定时任务配合完成增量同步 这里列举两个简单的使用场景: 数据库表中存在表示时间的列DS,类型为“varchar(30)”,插入的时间格式类似于“2017-xx-xx”。 定时任务中
M-dd,-1,DAY)}',即可将符合DS=‘2017-10-15’条件的数据导出。 时间宏变量和定时任务配合完成增量同步 这里列举两个简单的使用场景: 数据库表中存在表示时间的列DS,类型为“varchar(30)”,插入的时间格式类似于“2017-xx-xx”。 定时任务中
包,系统会按照您所选规格自动创建一个数据服务专享集群。 数据服务定位于标准化的数据服务平台,提供了快速将数据表生成数据API的能力,帮助您简单、快速、低成本、低风险地实现数据开放。 数据服务当前提供共享版与专享版两种服务方式,差异请参见共享版与专享版数据服务的对比。其中数据服务共
在当前的DataArts Studio实例中,工作空间名称必须唯一。 描述 空间的描述信息。 空间模式 选择新建工作新建工作空间的模式。 简单模式:即传统的DataArts Studio工作空间模式,使用方便,但无法对数据开发流程和表权限进行强管控。 企业模式:企业模式下DataArts
支持配置源端与目的端库名与表名映射的规则,方便用户对Hudi库名表名做重命名。 同时迁移Hudi表到HDFS和OBS。 支持对Hudi的自动建表。 支持用户为Hudi表添加简单的附加字段。 支持用户配置Hudi表的分区信息,包括定义“无分区”“时间分区”“自定义分区”Hudi表。 支持用户按需定义全局Hudi表配
getNodeOutput("前一节点名"),"]")[0],"[")[0],"\\"")[0]} 通过StringUtil提取输出结果值配置简单,但对适用场景有如下要求: 前一SQL节点的输出结果只有一个字段,形如[["11"]]所示。 输出结果值数据类型为String,需要应用场
getNodeOutput("前一节点名"),"]")[0],"[")[0],"\\"")[0]} 通过StringUtil提取输出结果值配置简单,但对适用场景有如下要求: 前一SQL节点的输出结果只有一个字段,形如[["11"]]所示。 输出结果值数据类型为String,需要应用场
长或无法执行的情况,建议您在业务低峰期再次重试,或选择自建队列运行业务。 另外,“default”队列不支持insert、load、cat命令。 如需以“key/value”的形式设置提交SQL作业的属性,请单击。最多可设置10个属性,属性说明如下: 说明: 环境变量配置项需要以"hoodie
所属目录:选择该规则模板所在的目录。 标签:选择所需的标签。标签是在数据地图组件中定义的标签。如果未使用数据地图组件,则标签功能不生效。 描述:对此自定义模板进行简单说明。 定义关系:输入SQL语句,实现对数据的查找。其中,${Schema_Table1}表示质量/对账作业中所选的表,${Column1
详见修改数据库参数。 数据连接中的账户要具备待控制表的GRANT权限(数据库对象创建后,默认只有对象所有者或者系统管理员可以通过GRANT命令将对象的权限授予其他用户)。 MRS Hive和DWS动态脱敏策略为指定用户/用户组在数据源上关联策略,因此需要如果希望在DataArts
务器ECS,并确保ECS主机和待调用的API之间网络可通,然后在DataArts Studio创建主机连接,通过Shell脚本使用CURL命令进行API调用。 Rest Client算子目前不支持大量的response返回体,目前代码限制30M。 参数 用户可参考表1,表2和表3配置Rest
(即CDM集群)和MRS租户面集群之间的网络。Manager的浮动IP地址可通过登录MRS集群主Master节点获取,执行ifconfig命令,回显中eth0:wsom的IP就是MRS Manager的浮动IP。登录MRS集群Master节点请参见登录集群节点章节,如果登录的是非
索引下的字段类型创建后不能修改,只能创建新字段。 如果一定要修改字段类型,需要创建新索引或到Kibana上用Elasticsearch命令删除当前索引重新创建(数据也会删除)。 CDM自动创建的索引,字段类型为date时,要求数据格式为“yyyy-MM-dd HH:mm:ss
(即CDM集群)和MRS租户面集群之间的网络。Manager的浮动IP地址可通过登录MRS集群主Master节点获取,执行ifconfig命令,回显中eth0:wsom的IP就是MRS Manager的浮动IP。登录MRS集群Master节点请参见登录集群节点章节,如果登录的是非
Studio数据目录中查看汇总表的数据预览,具体操作请参见步骤8:数据资产查看。您也可以在数据开发的“脚本开发”页面新建一个Hive SQL脚本,执行以下命令查询结果,执行成功后返回类似如下的结果: 1 SELECT * FROM demo_dm_db.dws_payment_type; 图22
版支持HTTPS协议。 推荐选择HTTPS协议,HTTP安全性欠佳,可能会存在安全风险。 HTTP属于基础的网络传输协议,无状态、无连接、简单、快速、灵活、使用明文传输,在使用上较为便捷,但是安全性欠佳。 HTTPS是在HTTP协议上进行了SSL或TLS加密校验的协议,能够有效验