[CARBONDATA-4319] Fixed clean files not deleteting stale delete delta files after...
authorVikram Ahuja <vikramahuja8803@gmail.com>
Wed, 22 Dec 2021 07:51:06 +0000 (13:21 +0530)
committerkunal642 <kunalkapoor642@gmail.com>
Tue, 28 Dec 2021 14:13:40 +0000 (19:43 +0530)
commita072e7a9e8af7491ee009c3f4005cd028801f02e
tree10ace11e7f62cf8f1c0879ecfbba793c08eb27e8
parent0f1d2a45e5f614fd123bd734ab37d7e453c21344
[CARBONDATA-4319] Fixed clean files not deleteting stale delete delta files after horizontal compaction

Why is this PR needed?
After horizontal compaction was performed on partition and non partition tables, the clean files
operation was not deleting the stale delete delta files. the code was removed as the part of clean
files refactoring done previously.

What changes were proposed in this PR?
Clean files with force option now handles removal of these stale delta files as well as the stale
tableupdatestatus file for both partition and non partition table.

This closes #4245
core/src/main/java/org/apache/carbondata/core/mutate/CarbonUpdateUtil.java
core/src/main/java/org/apache/carbondata/core/statusmanager/SegmentStatusManager.java
docs/clean-files.md
integration/spark/src/main/scala/org/apache/carbondata/trash/DataTrashManager.scala
integration/spark/src/test/scala/org/apache/carbondata/spark/testsuite/cleanfiles/TestCleanFileCommand.scala
integration/spark/src/test/scala/org/apache/carbondata/spark/testsuite/cleanfiles/TestCleanFilesCommandPartitionTable.scala