检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI数据库和表类 为什么在DLI控制台中查询不到表？ OBS表压缩率较高怎么办？ 字符码不一致导致数据乱码怎么办？ 删除表后再重新创建同名的表，需要对操作该表的用户和项目重新赋权吗？ DLI分区内表导入的文件不包含分区列的数据，导致数据导入完成后查询表数据失败怎么办？ 创建OB
String 指定要使用的连接器，这里是'datagen'。 rows-per-second 否 10000 Long 每秒生成的行数，用以控制数据发出速率。 number-of-rows 否 无 Long 生成数据的总行数。默认条件下，不限制生成数据的总行数。如果有字段生成器类型
DBPROPERTIES (property_name=property_value, ...); 描述 这条命令并不会将SCHEMA当前的内容移动到修改后的路径下，也不会修改与指定schema关联的表或分区，它只会修改新添加进数据库的表的上级目录。 示例 Create schema foo;
va -version，可以检查版本信息。 操作步骤 安装JDK。从Oracle官网下载并安装JDK1.8版本安装包。 配置环境变量，在“控制面板”选择“系统”属性，单击“环境变量”。 选择“系统变量”，新建 “JAVA_HOME 变量”，路径配置为JDK安装路径，例如：“D:\Java\jdk1
建议可以尝试调小spark.sql.shuffle.partitions参数值来解决缓冲区不足问题。具体该参数设置步骤如下： 登录DLI管理控制台，单击“作业管理 > SQL作业”，对应SQL作业行的操作列，单击“编辑”按钮，跳转到“SQL编辑器”。 在“SQL编辑器”中，单击“设置”，参考如下图配置添加参数。
参数说明 参数 是否必选 说明 col 是 数据类型为数值的列。其他类型返回NULL。 p 是 0<=P<=1,否则返回NULL。 B 是 参数B控制近似的精确度，B值越大，近似度越高，默认值为10000。当列中非重复值的数量小于B时，返回精确的百分数。 返回值说明 返回DOUBLE类型的值。
设置SQL作业优先级 在“ 设置 > 参数配置”中配置如下参数，其中x为优先级取值。 spark.sql.dli.job.priority=x 登录DLI管理控制台。 单击“作业管理 > SQL作业”。 选择待配置的作业，单击操作列下的编辑。 在“ 设置 > 参数配置”中配置spark.sql.dli
"UserID":"4324182021466249494", "Duration":146,"Sign":-1} 在DLI上创建数据库和表。 登录DLI管理控制台，选择“SQL编辑器”，在SQL编辑器中“执行引擎”选择“spark”，“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据
'hif'); 查询表数据确认数据插入成功。 select * from table1; 图1 查询表数据 在DLI上创建数据库和表。 登录DLI管理控制台，选择“SQL编辑器”，在SQL编辑器中“执行引擎”选择“spark”，“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据
面，查看“SCALE_QUEUE”类型SQL作业的状态，如果作业状态为“弹性扩缩容中”，表示队列正在扩容中。 操作步骤如下： 在DLI管理控制台左侧，选择“资源管理 > 队列管理”。 选择需要扩容的队列，单击“操作”列“更多”中的“弹性扩缩容”。 在“弹性扩缩容”页面，“变更方式”选择“扩容”，设置扩容的CU值。
from dataGenSource; 该作业提交后，作业状态变成“运行中”，后续您可通过如下操作查看输出结果。 方法一： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列，选择“更多 > FlinkUI”。 在FlinkUI界面，选择“Task
"case_timestamp_to_date": "2022-04-02 15:00:00"} 查看输出结果: 方法一： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列，选择“更多 > FlinkUI”。 在FlinkUI界面，选择“Task
OpenSource作业。 步骤6：发送数据和查询结果：RDS Postgres的表上插入数据，在DWS上查看运行结果。 步骤1：创建队列 登录DLI管理控制台，在左侧导航栏单击“资源管理 > 队列管理”，可进入队列管理页面。 在队列管理界面，单击界面右上角的“购买队列”。 在“购买队列”界面，
详情。 本章节包含如下内容： 管理作业标签 根据标签查找作业 管理作业标签 本节介绍如何为作业添加标签、修改标签和删除标签。 在DLI管理控制台的左侧导航栏中，单击“作业管理”>“Flink作业”，进入Flink作业管理页面。 单击需要查看的作业名称，进入“作业详情”页面。 单击“标签”页签，显示当前作业的标签信息。
Spark作业操作步骤 在“Spark参数”中配置如下参数，其中x为优先级取值。 spark.dli.job.priority=x 登录DLI管理控制台。 单击“作业管理 > Spark作业”。 选择待配置的作业，单击操作列下的编辑。 在“Spark参数”中配置spark.dli.job
Hive表名 查询出来的建表语句需要做一些处理，建表语句要符合DLI的建表语法，再到具体的DLI上执行。 在DLI上创建数据库和表。 登录DLI管理控制台，选择“SQL编辑器”，在SQL编辑器中“执行引擎”选择“spark”，“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据
BS桶保存作业日志和Checkpoint。但是运行该Flink SQL作业的IAM用户没有OBS写入权限导致该问题。 解决方案 登录IAM控制台页面，单击“用户”，在搜索框中选择“用户名”，输入运行作业的IAM用户名。 单击查询到用户名，查看该用户对应的用户组。 单击“用户组”，
需要操作该该表的用户或项目进行赋权操作。 解决方案 表删除再创建后，需要重新对需要操作该表的用户或项目进行赋权操作。具体操作如下： 在管理控制台左侧，单击“数据管理”>“库表管理”。 单击需要设置权限的表所在的数据库名，进入该数据库的“表管理”页面。 单击所选表“操作”栏中的“权限管理”，将显示该表对应的权限信息。
需要获得VPC（虚拟私有云）的VPC Administrator权限。 客户未给VPC服务授权导致绑定队列失败。 处理步骤 登录DLI管理控制台，选择“全局配置 > 服务授权”。 在委托设置页面，按需选择所需的委托权限。 其中“DLI Datasource Connections
id，然后根据DLI job id 在DLI控制台中找到具体的作业。 图19 监控日志 在DLI控制台中找到具体的作业，单击归档日志即可查看详细日志： 图20 输入作业ID 可以通过DataArts的nodename或jobname在DLI 控制台搜索作业： 图21 nodename或jobname
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
