检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BY字段,可选取多个字段。 DWS表当前支持复制(Replication)和散列(Hash)两种分布策略。 REPLICATION:在每一个DN节点上存储一份全量表数据。这种存储方式的优点是每个DN上都有此表的全量数据,在join操作中可以避免数据重分布操作,从而减小网络开销;缺点是每
prod_version_name String 生产环境版本名称,只读。 env_type String 开发生产环境类型。 枚举值: INVALID_TYPE: 无效环境 DEV_TYPE: 开发环境 PROD_TYPE: 生产环境 DEV_PROD_TYPE: 开发生产环境 表9 BizVersionManageVO
作业调度支持多种云服务的多种类型的任务混合编排,高性能的调度引擎已经经过几百个应用的检验。 运维监控 支持对作业进行运行、暂停、恢复、终止等多种操作。 支持查看作业和其内各任务节点的运行详情。 支持配置多种方式报警,作业和任务发生错误时可及时通知相关人,保证业务正常运行。 数据质量:可控可检验 数据质量模块支持对业务
ReadOnlyAccess向MRS CommonOperations、MRS FullAccess、MRS Administrator变化时,由于集群节点的SSSD(System Security Services Daemon)缓存刷新需要时间,因此同步完成后,请等待5分钟,等待新修改策略
滤,单边过滤无效。格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 end_time 否 String 时间过滤右边界,与begin_time一起使用只支持时间范围过滤,单边过滤无效。格式遵循R
prod_version_name String 生产环境版本名称,只读。 env_type String 开发生产环境类型。 枚举值: INVALID_TYPE: 无效环境 DEV_TYPE: 开发环境 PROD_TYPE: 生产环境 DEV_PROD_TYPE: 开发生产环境 表8 BizVersionManageVO
企业项目 DataArts Studio专享版集群关联的企业项目。企业项目管理是一种按企业项目管理云资源的方式,具体请参见企业管理用户指南。 节点数量 - 购买时长 - 单击“立即购买”,确认规格后提交。 父主题: 购买DataArts Studio实例
标签列表。 limit 是 Integer 查询返回数目。 offset 是 Integer 查询偏移量。 guid 否 String 查询节点的guid。 query 是 String 查询关键字,search_all_attributes为true查询所有属性,false仅查询名称描述。
更新IAM代理 Y N N N N 操作环境变量 Y Y N N N 查询环境变量 Y Y N Y Y 编辑环境变量 Y Y N N N 操作作业节点 Y Y N Y N 查看发布包 Y Y Y Y Y 操作发布包 Y N Y Y N 新建数据连接 Y Y N N N 删除数据连接 Y Y
自定义策略DataArtsStudio_PermissionsOfDependentServices_region 仅当在数据开发组件作业中通过DLI Spark节点选择自定义镜像时,需要容器镜像服务中的镜像读取权限,推荐账号管理员通过镜像授权的方式为用户授予权限(SWR管理员权限账号登录容器镜像服务S
如果通过DataArts Studio数据开发使用参数传递并调度CDM迁移作业时,不能在CDM迁移作业中配置“作业失败重试”参数,如有需要请在数据开发中的CDM节点配置“失败重试”参数。 不重试 作业分组 选择作业的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。
枚举值: HASH: 对指定的列进行Hash,通过映射,把数据分布到指定DN REPLICATION: 表的每一行存在所有数据节点(DN)中,即每个数据节点都有完整的表数据 distribute_column 否 String DISTRIBUTE BY HASH column. compression
责任人。 parent_id String 父目录ID,没有则为根目录,ID字符串。 swap_order_id String 同层排序,目标节点的ID,ID字符串。 id String 主题ID,ID字符串。 qualified_id String 认证ID,自动生成。 from_public
责任人。 parent_id String 父目录ID,没有则为根目录,ID字符串。 swap_order_id String 同层排序,目标节点的ID,ID字符串。 id String 主题ID,ID字符串。 qualified_id String 认证ID,自动生成。 from_public
SQL脚本的运行程序参数,除了在SQL脚本中参考语句“set hive.exec.parallel=true;”配置参数,也可以在对应作业节点属性的“运行程序参数”中配置该参数。 图1 运行程序参数 支持设置脚本责任人 单击编辑器右侧的“脚本基本信息”,可设置脚本的责任人和描述信息。
本”按钮手动增加保存版本。 测试运行作业。 作业配置完毕后,单击作业开发页面左上角“测试运行”按钮,测试作业。如果测试未通过,请您查看作业节点的运行日志,进行定位处理。 测试运行类似于单次运行,会对数据进行真实迁移。 用户可以查看该作业的测试运行日志,单击“查看日志”可以进入查看日志界面查看日志的详细信息记录。
DataArts Studio使用流程 数据治理中心DataArts Studio是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除
> 创建数据开发作业”(默认不勾选),发布表时,系统支持根据表的映射信息,在数据开发中自动创建一个ETL作业,每一个映射会生成一个ETL节点,作业名称以“数据库名称_表编码”开头。当前该功能处于内测阶段,仅支持DLI->DLI和DLI->DWS两种映射的作业创建。 已创建的ETL作业可以进入“数据开发
> 创建数据开发作业”(默认不勾选),发布表时,系统支持根据表的映射信息,在数据开发中自动创建一个ETL作业,每一个映射会生成一个ETL节点,作业名称以“数据库名称_表编码”开头。当前该功能处于内测阶段,仅支持DLI->DLI和DLI->DWS两种映射的作业创建。 已创建的ETL作业可以进入“数据开发