[CARBONDATA-4320] Fix clean files removing wrong delta files
authorVikram Ahuja <vikramahuja8803@gmail.com>
Tue, 4 Jan 2022 11:08:12 +0000 (16:38 +0530)
committerakashrn5 <akashnilugal@gmail.com>
Thu, 13 Jan 2022 05:25:07 +0000 (10:55 +0530)
commit05aff876d4e7ae7dcea2cecda176b470eb658ff8
tree266a0cd7c814f906882bdd0688f0a35bcfe08a65
parent308906e459607383eedf20c18236c7d17509959e
[CARBONDATA-4320] Fix clean files removing wrong delta files

Why is this PR needed?
In the case where there are multiple delete delta files in a partition
in a partition table, some delta files were being ignored and deleted,
thus changing the value during the query

What changes were proposed in this PR?
Fixed the logic which checks which delta file to delete. Now checking
the deltaStartTime and comparing it with deltaEndTime to check consider
all the delta files during clean files.

Does this PR introduce any user interface change?
No

Is any new testcase added?
Yes, one test case has been added.

This closes #4246
core/src/main/java/org/apache/carbondata/core/mutate/CarbonUpdateUtil.java
integration/spark/src/test/scala/org/apache/carbondata/spark/testsuite/cleanfiles/TestCleanFilesCommandPartitionTable.scala