-
MongoDB连接迁移失败时如何处理? - 数据治理中心 DataArts Studio
MongoDB连接迁移失败时如何处理? 在默认情况下,userAdmin角色只具备对角色和用户的管理,不具备对库的读和写权限。 当用户选择MongoDB连接迁移失败时,用户需查看MongoDB连接中用户的权限信息,确保对指定库具备ReadWrite权限。 父主题: 数据集成
-
查看表 - 数据治理中心 DataArts Studio
关系模型页面默认显示为列表视图,单击列表右上方的“模型视图”按钮,切换为模型视图,如下图所示。单击“列表视图”则可以重新切换回列表视图。 图1 模型视图 在模型视图中支持以下功能: 双击表名,可显示表的详情信息。 单击左上角的“导出图片”按钮,可以将模型视图导出成图片。 在右上角的搜索框
-
执行DWS SQL脚本时,提示id不存在,如何处理? - 数据治理中心 DataArts Studio
执行DWS SQL脚本时,提示id不存在,如何处理? 在执行DWS SQL脚本时,提示id不存在,原因是由于id的大小写引起的。 DWS执行SQL时,系统默认是小写,如果是大写字段需要加""。 举例:select * from table1 order by "ID"; select
-
创建MRS Hive连接器 - 数据治理中心 DataArts Studio
MRS集群和CDM集群之间网络互通,网络互通需满足如下条件: CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同
-
Elasticsearch整库迁移到云搜索服务 - 数据治理中心 DataArts Studio
弹性IP连接数据源。 创建云搜索服务连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图1所示。 图1 选择连接器类型 连接器类型选择“云搜索服务”后单击“下一步”,配置云搜索服务连接参数。 名称:用户自定义连接名称,例如“csslink”。
-
作业开发时,测试运行后如何查看运行日志? - 数据治理中心 DataArts Studio
作业开发时,测试运行后如何查看运行日志? 方式1:待节点测试运行完成后,在当前节点鼠标右键选择查看日志。 方式2:通过画布上方的“前往监控”,在实例监控中展开作业实例,查看节点日志。 父主题: 数据开发
-
数据服务专享版发布的API如何绑定公网和域名? - 数据治理中心 DataArts Studio
数据服务专享版发布的API如何绑定公网和域名? 进入数据服务模块,单击页面左侧“专享版”。 单击API管理,找到需要发布的API,选择操作列的“更多>发布”。 在弹出的发布页面中选择更多,选择网关类型为APIGW,即API网关服务。并选择分组。 发布完成后即可在对应的API网关服
-
CDM有哪些优势? - 数据治理中心 DataArts Studio
用户轻松应对各种数据迁移场景,包括数据上云,云上数据交换,以及云上数据回流本地业务系统。 父主题: 数据集成
-
共享版与专享版数据服务的对比 - 数据治理中心 DataArts Studio
共享版与专享版数据服务的对比 共享版与专享版对比 数据服务当前提供共享版与专享版两种服务方式。其中共享版数据服务即开即用,专享版数据服务需要购买专享版集群增量包,并在实例中管理API。 专享版数据服务常用于企业内部系统解耦,各服务部署在云上的VPC内,服务之间以RESTful A
-
开发一个DLI Spark作业 - 数据治理中心 DataArts Studio
Spark节点提交Spark作业。 环境准备 已开通对象存储服务OBS,并创建桶,例如“obs://dlfexample”,用于存放Spark作业的JAR包。 已开通数据湖探索服务DLI,并创建Spark集群“spark_cluster”,为Spark作业提供运行所需的物理资源。 获取Spark作业代码
-
开发一个Hive SQL作业 - 数据治理中心 DataArts Studio
作业编排完成后,单击,测试运行作业。 如果运行成功,单击画布空白处,在右侧的“调度配置”页面,配置作业的调度策略。 图4 配置调度方式 该作业调度时间在2021/01/01至2021/01/25,每天2点调度一次作业。 最后我们需要提交版本,执行调度作业,实现作业每天自动运行。 父主题: 使用教程
-
配置DDS连接 - 数据治理中心 DataArts Studio
配置DDS连接 DDS连接适用于华为云上的文档数据库服务,常用于从DDS同步数据到大数据平台。 连接云服务DDS时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 DDS连接参数 参数名 说明
-
溯源数据水印 - 数据治理中心 DataArts Studio
作空间的“数据安全”模块,进入数据安全页面。 图1 选择数据安全 单击左侧导航树中的“数据水印溯源”,进入数据水印溯源页面,在页面上方单击“新建”。 图2 创建数据水印溯源任务 在弹出的创建任务页面输入信息,参数配置请参考表1。 图3 创建数据水印溯源任务 表1 水印溯源任务参数描述
-
开发一个MRS Spark Python作业 - 数据治理中心 DataArts Studio
为脚本所在路径 单击“测试运行”,执行该脚本作业。 待测试完成,执行“提交”。 在“作业监控”界面,查看作业执行结果。 图8 查看作业执行结果 日志验证。 运行成功后,登录MRS manager后在YARN上查看日志,发现有hello python的输出。 图9 查看YARN上日志 父主题:
-
数据集成API错误码 - 数据治理中心 DataArts Studio
请指定正确的作业引擎后再重试。 Cdm.0052 400 作业%s正在运行。 作业正在运行。 作业正在运行,无法执行当前操作,请等待作业运行结束后再重试。 Cdm.0053 400 作业%s未运行。 作业未运行。 请运行作业后再重试。 Cdm.0054 400 作业%s不存在。 作业不存在。
-
开发一个MRS Flink作业 - 数据治理中心 DataArts Studio
t.txt为输出参数文件的路径(如已存在output.txt文件,会报错)。 单击“测试运行”,执行该MRS Flink作业。 待测试完成,执行“提交”。 在“作业监控”界面,查看作业执行结果。 查看OBS桶中返回的记录(没设置返回可跳过)。 父主题: 使用教程
-
如何处理API对应的数据表数据量较大时,获取数据总条数比较耗时的问题? - 数据治理中心 DataArts Studio
分页查询场景下,第一次查询时添加入参use_total_num=1获取数据总条数,后续再次请求接口时添加入参use_total_num=0不获取数据总条数。 图2 数据总条数 父主题: 数据服务
-
查看敏感数据分布 - 数据治理中心 DataArts Studio
结果”,则还需要手动单击“数据同步”,才能将识别到的敏感数据同步到数据地图组件(同步数据前需确保已在数据目录中完成元数据采集任务,否则会同步失败)。 前提条件 完成敏感数据识别任务的创建和运行,如何创建和运行敏感数据识别任务请参见创建敏感数据发现任务。 敏感数据同步的权限要求较高,仅DAYU
-
使用python调用执行脚本的api报错:The request parameter invalid,如何处理? - 数据治理中心 DataArts Studio
使用python调用执行脚本的api报错:The request parameter invalid,如何处理? 问题现象: 使用python调用执行脚本的api报错:The request parameter invalid。 调用执行脚本接口。 查看日志: 报错:Content
-
DataArts Studio调度CDM任务时报错Given transaction id [xxxx] is invalid,如何处理? - 数据治理中心 DataArts Studio
DataArts Studio调度CDM任务时报错Given transaction id [xxxx] is invalid,如何处理? 问题描述: DataArts Studio调度CDM任务时,报错Given transaction id [xxxx] is invalid。