检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值) 使用Token认证时必选。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Project-Id 否 String 项目ID,获取方法请参见项目ID和账号ID。
String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 instance 是 String 实例ID,获取方法请参见实例ID和工作空间ID。 响应参数 状态码: 200 表4 响应Body参数
单击作业名称,进入“作业监控”详情页面后,单击某个节点,查看该节点的相关关联作业/脚本与监控信息。 说明: 当作业中某个节点配置有事件驱动调度时,在单击此节点时会弹出子作业监控页面。 8 “禁用”和“恢复”节点 单击作业名称,进入“作业监控”详情页面后,右键单击某个节点选择“禁用”
Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数据服务中数据API的调用,帮助开发者简单、快速地通过数据API获取到开放数据。 数据服务SDK支持的语言有:C#、Python、Go、JavaScript、PHP、C++、C、Android、Java等,详见SDK参考手册。
通过DataArts Studio调度大数据服务时需要注意什么? 环境变量、作业参数、脚本参数有什么区别和联系? 打不开作业日志,返回404报错? 配置委托时获取委托列表失败如何处理? 数据开发创建数据连接,为什么选不到指定的周边资源? 配置了SMN通知,却收不到作业失败告警通知? 作业配置了周期调度,但是实例监控没有作业运行调度记录?
成导入到目的端的数据不完整。 原因分析 由于HBase/CloudTable无Schema,每条数据的列数不固定,在字段映射界面CDM通过获取样值的方式有较大概率无法获得所有列,此时作业执行完后会造成目的端的数据不全。 这个问题,可以通过以下方法解决: 在CDM的字段映射界面增加字段。
在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中,双击作业名称,进入作业开发页面。 在页面右侧单击“版本”,查看版本提交记录,找到需要回滚的版本单击“回滚”即可。 图2
在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 单击“调用API > 应用管理”,进入到应用管理页面。单击“新建”,弹出“新建应用”对话框。填写如表1所示信息。 表1 应用信息 信息项
“数据质量”模块,进入数据质量页面。 (可选)选择“数据质量监控 > 质量作业”,新建目录。如果已存在可用的目录,可以不用新建目录。 在“质量作业”页面单击“新建”,进入“基本配置”页面,配置质量作业的基本信息。 单击“下一步”进入“规则配置”页面,配置质量作业的相关规则。在“计
OBS路径,格式为:obs://桶名/文件夹路径名/包名。在选择资源包之前,您需要先将Jar包及其依赖包上传至OBS桶中,并在“资源管理”页面中新建资源,具体操作请参考新建资源。 资源类型 是 支持OBS路径和DLI程序包两种类型的资源。 OBS路径:作业执行时,不会上传资源包文
Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 单击“开发API > API管理”页面,进入API管理页面。 在API列表上方,选择“更多 > 导入”,进入导入API页面。 在导入页面中配置导入参数后,单击“选择Excel文
T API创建、启动、查询、删除该CDM作业。 需要提前准备以下数据: 云账号的用户名、账号名和项目ID。 创建一个CDM集群,并获取集群ID。 获取方法:在集群管理界面,单击CDM集群名称可查看集群ID,例如“c110beff-0f11-4e75-8b10-da7cd882b0ef”。
table_name")}”,如图1所示。 表达式说明如下: 获取作业中“get_cluster”节点的执行结果(“Job.getNodeOutput("get_cluster")”),执行结果是一个JSON字符串。 通过JSON路径(“tables[0].table_name”),获取JSON字符串中字段的值。 图1
在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“数据识别规则”,进入数据识别规则页面。 单击页面上方“规则分组”页签,进入分组列表页面。 图1 新建数据识别规则组 单击“新建”,输入新建分组名称和描述,参数设置参考表1
String DLI队列名称 通过DLI管理控制台获取队列名称: 登录管理控制台。 单击“数据湖探索服务”,单击“队列管理”。 在队列管理列表中可以获取到队列名称。 jobName 是 String DLI作业名称 通过DLI管理控制台获取作业名称: 登录管理控制台。 单击“数据湖探索服务”,单击Spark作业。
Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 单击“开发API > API管理”页面,进入API管理页面。 在API列表上方,选择“更多 > 导入”,进入导入API页面。 在导入页面中配置导入参数后,单击“选择Excel文
作业的详情。在作业的详情页面进入“作业”页签,单击“编辑”可跳转到数据开发的作业编辑页面。 图3 查看作业 在数据资产搜索结果中,类型名称末尾带“_node”的数据资产为节点,单击某一节点名称,可以查看节点的详情。在节点(需是支持血缘的节点类型)详情页面,可以查看节点的血缘信息。
“使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select * from table a; select * from table b。 不支持with语句。
Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“脱敏策略”,进入脱敏策略页面,在页面上方单击“新建”,创建脱敏策略。 图1 创建脱敏策略 在弹出的新建脱敏页面中填写策略信息,参考表1完成配置。配置完成后单击“确定”即可。 图2 创建脱敏策略界面
间限定页面。 图3 时间限定页面 您可以根据实际需要选择如下操作。 当需要... 则... 新建 执行新建时间限定并发布。 编辑 执行3。 发布 执行4。 发布历史 执行5。 下线 执行6。 删除 执行7。 编辑 在需要编辑的时间限定右侧,单击“编辑”,进入编辑时间限定页面。 根据实际需要编辑相关内容。