Hive大表rename报错如何处理?
lipiwang 2025-05-27 15:48 5 浏览 0 评论
在数据仓库开发过程中，经常会碰到对已上线的表依照命名规范进行重命名（rename）的情形。通常而言，运用 hive 自带的 rename 函数便可处理，然而，在应对某些规模较大表的处理过程中，却屡屡报错。例如：现存表 A，基于一些原因，欲将其重命名为B，执行下面HSQL：
ALTER TABLE test_db.dm_order_xxx_a
RENAME TO test_db.dm_order_xxx_b偶尔会碰到如下报错：
为何会呈现如上所述的报错呢？原因分析如下：
- 库和表处于不同的 HDFS cluster 之中，致使在 hive 表进行重命名的过程里，移动 HDFS 目录时产生跨区（across federation）的报错。
- 那么，同库表不在同一个HDFS cluster的可能原因或许是，由于FS cluster容量比较满时，DB运维同学将部分库表的hdfs位置迁到了新的HDFS cluster上，此刻历史表的一些hdfs文件还在原来的cluster。
实际上，alter table rename 操作存在风险，在实际应用中对表重命名时，极力不提倡如此操作，并且分区数量越多，风险也就越大。可以参考如下操作来安全地进行表重名：
- 将原表改成外表（内部调整成外表不会操作HDFS）。
外部表（External Table）说明：
是Hive的一种表类型，在创建时会在Hive的数据仓库中创建一个表，但数据并不存储在Hive管理的位置。即数据不是Hive拥有或管理的，hive只管理表元数据的生命周期。
外部表只是在指定位置建立了对数据的指针，实际数据仍保留在外部存储系统（如HDFS或S3）中，当删除外部表时，外部存储系统中的数据不会被删除。
set tqs.query.engine.type=hive;
ALTER TABLE test_db.dm_order_xxx_a
set TBLPROPERTIES ('EXTERNAL'='true');- 对上述原表调整后的外表进行重命名，此时不会引发文件的移动。
ALTER TABLE test_db.dm_order_xxx_a
RENAME TO test_db.dm_order_xxx_b- 将重名后的新表，恢复成内表。
set tqs.query.engine.type=hive;
ALTER TABLE test_db.dm_order_xxx_b
set TBLPROPERTIES ('EXTERNAL'='FALSE');相关推荐
- 小程序-如何获取用户表单控件中的值
-
背景在小程序开发中,经常有用到表单,我们往往需要在小程序端获取用户表单输入框中的值(通常用户输入的有:switch,input,checkbox,slider,radio,picker)等,通过触发事...
- Js基础7:表单元素属性
-
一、封装获取元素的方法封装思想——函数封装——代码复用 function get_id(id){ //这个函数是专门来通过id获...
- 泰媒:到泰国曼谷旅游，注意别被嘟嘟车司机坑!
-
据泰国《世界日报》微信公众号报道，近日，一名导游投诉称，3名外籍游客在泰国曼谷搭载嘟嘟车时，被嘟嘟车司机坑。该导游认为嘟嘟车司机坑害外国游客的行为，破坏泰国的旅游形象，希望能以此为戒。当地时间25日上...
- 快速了解JavaScript的表单操作
-
前言在HTML中使用<form>表单元素在JavaScript中对应的是HTMLFormElement类型，而HTMLFormElement继承了HTMLElement接口...
- 10《Vue 入门教程》Vue 双向绑定指令
-
1.前言本小节我们将介绍Vue中数据的双向绑定指令v-model。v-model的学习相对简单。我们可以用v-model指令在表单<input>、<textarea&...
- 手把手教你搭建消防安全答题小程序-实现答题及提交答卷到数据库
-
手把手教你搭建答题活动小程序系列，第一阶段为界面设计篇，分别描写了如何搭建答题小程序界面。第二阶段为功能交互篇。而上两篇文章分别描写了，如何用云开发实现查询题库功能，以及将获取到的题目数据动态更新到答...
- 你还在使用Guava的Lists.newArrayList()吗
-
Guava说起Guava，做Java开发的应该没人不知道吧，毕竟“google出品，必属精品”。虽然应该没有Spring那样让Javaer无法避开，但是其中很多工具类的封装还是让人欲罢不能。而我们今天...
- Mybatis参数传递
-
1.概述Mybatis的sql参数传递就是将接口方法中定义的参数传输到sql中。sql有两种形式，一种是XML格式（Mapper映射器）中的sql；一种是注解方式的sql。常用参数的类型主要包括：基...
- python中的map和filter避坑指南
-
Pythonic的方式使用map和filter列表迭代在python中是非常pythonic的使用方式definc(x):returnx+1>>>list(map...
- 2025 年 Object 和 Map 如何选择?
-
大家好，很高兴又见面了，我是"高级前端进阶"，由我带着大家一起关注前端前沿、深入前端底层技术，大家一起进步，也欢迎大家关注、点赞、收藏、转发，您的支持是我不断创作的动力。1.什么是...
- 如何使用Java读取Excel文件到List>格式
-
引言在开发过程中，我们经常会遇到需要读取Excel文件并将数据转换成Java对象的需求。ApachePOI是一个强大的库，它提供了读取和写入MicrosoftOffice格式文件的功能，包括Exc...
- Nginx L4 stream Solution white list map
-
nginx正向透明代理nginx正向透明代理安全方面的一些限制对于代理而已，有时候可能还不够安全，而且这个是基于4层的，所以想要在http上，或者所谓的http头上做限制还是比较难实现了。所以变...
- Java响应式编程 第五篇 flatMap vs map
-
1作用不同1.2映射？展平？map只执行映射flatMap既执行映射，也执行展平什么叫只能执行映射？我理解是把一个数据执行一个方法，转换成另外一个数据。举个例子：mapper函数把输入的字符...
- Java对象拷贝原理剖析及最佳实践
-
作者：宁海翔1前言对象拷贝，是我们在开发过程中，绕不开的过程，既存在于Po、Dto、Do、Vo各个表现层数据的转换，也存在于系统交互如序列化、反序列化。Java对象拷贝分为深拷贝和浅拷贝，目前常用的...
- mybatis手把手教学，希望大家能拿下它
-
目录1.jdbc封装中的问题12.mybatis介绍43.框架搭建41）导包52）配置文件6配置dtd约束73）创建SqlSessionFactory对象94.入门案例91.部门实体...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- maven镜像 (69)
- undefined reference to (60)
- zip格式 (63)
- oracle over (62)
- date_format函数用法 (67)
- 在线代理服务器 (60)
- shell 字符串比较 (74)
- x509证书 (61)
- localhost (65)
- java.awt.headless (66)
- syn_sent (64)
- settings.xml (59)
- 弹出窗口 (56)
- applicationcontextaware (72)
- my.cnf (73)
- httpsession (62)
- pkcs7 (62)
- session cookie (63)
- java 生成uuid (58)
- could not initialize class (58)
- beanpropertyrowmapper (58)
- word空格下划线不显示 (73)
- jar文件 (60)
- jsp内置对象 (58)
- makefile编写规则 (58)