-
认证鉴权 - 数据治理中心 DataArts Studio
进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图1所示。 图1 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret
-
curl - 数据治理中心 DataArts Studio
名称 说明 signer.js SDK代码 node_demo.js Nodejs示例代码 demo.html 浏览器示例代码 demo_require.html 浏览器示例代码(使用require加载) test.js 测试用例 js\hmac-sha256.js 依赖库 js\moment
-
OBS连接 - 数据治理中心 DataArts Studio
linkConfig.storageType 是 String 对象存储的类型。 linkConfig.server 是 String OBS服务器的终端节点(Endpoint)。 linkConfig.port 是 String 数据传输协议端口,https是443,http是80。 linkConfig
-
配置DWS数据连接 - 数据治理中心 DataArts Studio
s Studio支持的数据源。 基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。开关打开,即只能通过SSL方式连接。开关关闭,即两种方式均可。默认关闭。 手动 是 选择连接模式。
-
文件格式介绍 - 数据治理中心 DataArts Studio
hits”,然后在作业第二步添加转换器,操作步骤如下: 单击添加字段,新增一个字段。 图2 添加字段 在添加的新字段后面,单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器,表达式输入“1.0”,然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统间
-
文件格式介绍 - 数据治理中心 DataArts Studio
hits”,然后在作业第二步添加转换器,操作步骤如下: 单击添加字段,新增一个字段。 图2 添加字段 在添加的新字段后面,单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器,表达式输入“1.0”,然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统间
-
导出导入脚本 - 数据治理中心 DataArts Studio
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 单击脚本目录中的,选择“显示复选框”。 勾选需要导出的脚本,单击 > 导出脚本。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图1 选择并导出脚本 在弹出的“导出脚本”界面,选择需要导出的脚本的状态,单击“确定”。 图2 导出脚本
-
上传存量数据 - 数据治理中心 DataArts Studio
子网、安全组:这里没有要求,分别任选一个即可。 集群创建完成后,选择集群后面的“作业管理 > 连接管理 > 新建连接”,进入选择连接类型的界面,如图1所示。 图1 选择连接器类型 连接H公司本地的Apache Hadoop HDFS文件系统时,连接类型选择“Apache HDFS”,然后单击“下一步”。 图2 创建HDFS连接
-
(可选)获取认证信息 - 数据治理中心 DataArts Studio
进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图1所示。 图1 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret
-
For Each节点使用介绍 - 数据治理中心 DataArts Studio
创建DLI表。您可以在DataArts Studio数据开发中,新建DLI SQL脚本执行以下SQL命令,也可以在数据湖探索(DLI)服务控制台中的SQL编辑器中执行以下SQL命令: /* 创建数据表 */ CREATE TABLE a_new (name STRING, score INT) STORED
-
For Each节点使用介绍 - 数据治理中心 DataArts Studio
创建DLI表。您可以在DataArts Studio数据开发中,新建DLI SQL脚本执行以下SQL命令,也可以在数据湖探索(DLI)服务控制台中的SQL编辑器中执行以下SQL命令: /* 创建数据表 */ CREATE TABLE a_new (name STRING, score INT) STORED
-
元数据实时同步接口(邀测) - 数据治理中心 DataArts Studio
AddColumnEvent添加字段 DropColumnEvent删除字段 AlterTriggerEvent修改触发器 AddTriggerEvent 添加触发器 DropTriggerEvent删除触发器 event_message 否 Object 事件消息,Map<String,Object>结构。
-
配置MRS ClickHouse连接 - 数据治理中心 DataArts Studio
密码不会立即生效且作业会运行失败。 表1 ClickHouse连接参数 参数名 说明 取值样例 名称 连接名称。 cklink 数据库服务器 配置为要连接的数据库的IP地址或域名。 登录MRS ClickHouse数据源所在集群的Manager页面,选择“集群 > 服务 > ClickHouse
-
新建表/文件迁移作业 - 数据治理中心 DataArts Studio
默认第一列作为分布列,可能会有数据倾斜风险。 CDM支持字段内容转换,如果需要可单击操作列下,进入转换器列表界面,再单击“新建转换器”。 图4 新建转换器 CDM支持以下转换器: 脱敏:隐藏字符串中的关键数据。 例如要将“12345678910”转换为“123****8910”,则参数配置如下:
-
导出导入作业 - 数据治理中心 DataArts Studio
单击作业目录中的,选择“显示复选框”。 勾选需要导出的作业,单击 > 导出作业,可选择“只导出作业”或“导出作业及其依赖脚本和资源定义”。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图1 选择并导出作业 在弹出的“导出作业”界面,选择需要导出的作业范围和状态,单击“确定”,可以在下载中心查看导入结果。
-
配置HDFS连接 - 数据治理中心 DataArts Studio
能使用STANDALONE模式。 说明:STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 若在一个CDM中同时连
-
配置HBase连接 - 数据治理中心 DataArts Studio
能使用STANDALONE模式。 说明:STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 STANDALONE 是否使用集群配置
-
解锁作业 - 数据治理中心 DataArts Studio
在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中,双击已开发完成的作业名称,进入作业开发页面。 提交作业后在作业画布或编辑器上方单击“解锁”,解除锁定,便于后续其他开发者对此脚本进行修改更新。 图2 解锁 父主题: (可选)管理作业
-
数据集成数据搬迁 - 数据治理中心 DataArts Studio
和作业。 图1 批量导出 在弹出的窗口中,选择“全部作业和连接”,单击“确认”,导出所有作业和连接。 图2 全部导出 导出成功后,通过浏览器下载地址,获取到导出的JSON文件。 新空间导入作业和连接 请您登录控制台首页,选择并进入新工作空间的“数据集成”模块,然后执行如下操作进行批量导入。
-
解锁脚本 - 数据治理中心 DataArts Studio
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本目录中,双击已开发完成的脚本名称,进入脚本开发页面。 提交脚本后在脚本编辑器上方单击“解锁”,解除锁定,便于后续其他开发者对此脚本进行修改更新。 图2 解锁 父主题: (可选)管理脚本