carbondata.git
5 days ago[CARBONDATA-3284] [CARBONDATA-3285] Workaround for Create-PreAgg Datamap Fail & Sort... master
namanrastogi [Tue, 29 Jan 2019 09:44:18 +0000 (15:14 +0530)] 
[CARBONDATA-3284] [CARBONDATA-3285] Workaround for Create-PreAgg Datamap Fail & Sort-Columns Fix

If for some reason**[1]**, creating PreAgg datamap failed and its dropping also failed.
Then dropping datamap also cannot be done, as the datamap was not registered to the parent table schema file, but got registered in spark-hive, so it shows it as a table, but won't let us drop it as carbon throws error if we try to drop it as a table.

Workaround:
After this change, we can at lease drop that as a hive folder by command

**[1]** - Reason could be something like setting HDFS Quota on database folder, so that parent table schema file cound not be modified.

*

This closes #3113

5 days ago[CARBONDATA-3287]Remove the validation for same schema in a location and fix drop...
akashrn5 [Mon, 4 Feb 2019 10:37:02 +0000 (16:07 +0530)] 
[CARBONDATA-3287]Remove the validation for same schema in a location and fix drop datamap issue

### Why this PR?
Currently we have a validation that if there are two carbondata files in a location with different schema, then we fail the query. I think there is no need to fail. If you see the parquet behavior also we cna understand.

Here i think failing is not good, we can read the latets schema from latest carbondata file in the given location and based on that read all the files and give query output. For the columns which are not present in some data files, it wil have null values for the new column.

But here basically we do not merge schema. we can maintain the same now also, only thing is can take latest schma.

### Points to Observe
1. one data file with columns a,b and c. 2nd file is with columns a,b,c,d,e. then can read and create table with 5 columns or 3 columns which ever is latest and create table(This will be when user does not specify schema). If he species table will be created with specified schema
2. Only **validation** happens is if the column name is same in both the data files present at location, and the datatype is different, then the query fails
3. When ffirst query is fired the dtamap is created for the table, and if new column is present in other data file, the the datamap is not updated as the table name will be same, so if column list is different we can drop datamap and create again

This closes #3121

2 weeks ago[DOC] Document Update for default sort scope
namanrastogi [Tue, 29 Jan 2019 14:03:58 +0000 (19:33 +0530)] 
[DOC] Document Update for default sort scope

This closes #3115

2 weeks ago[CARBONDATA-3280] Fix the issue of SDK assert can't work
xubo245 [Tue, 29 Jan 2019 03:36:48 +0000 (11:36 +0800)] 
[CARBONDATA-3280] Fix the issue of SDK assert can't work

After PR-3097 merged, the batch rule has been changed, but the test didn't work, such as:

org.apache.carbondata.sdk.file.CarbonReaderTest#testReadNextBatchRow
org.apache.carbondata.sdk.file.CarbonReaderTest#testReadNextBatchRowWithVectorReader
So this PR fixed the test error and add some assert

This closes #3112

2 weeks ago[HOTFIX] SDV framework for presto cluster test suite
ajantha-bhat [Mon, 28 Jan 2019 04:44:53 +0000 (10:14 +0530)] 
[HOTFIX] SDV framework for presto cluster test suite

[HOTFIX] SDV framework for presto cluster test suite
a) Added a suite for presto cluster test with a sample test case where carbon presto reads the store created by spark.
b) When single suite selected for running. other module test cases were running like SDK, CLI, processing. Fixed this problem adding sdvtest profile modules that has issues

This closes #3111

2 weeks ago[CARBONDATA-3282] set hadoop conf to thread local for file factory usage in presto...
ajantha-bhat [Tue, 29 Jan 2019 13:09:49 +0000 (18:39 +0530)] 
[CARBONDATA-3282] set hadoop conf to thread local for file factory usage in presto carbon

[HOTFIX] set hadoop conf to thread local for file factory usage in presto carbon.
and Added bloom dependency in presto.

This closes #3114

3 weeks ago[HOTFIX] Upgraded jars to work S3 with presto
ravipesala [Sun, 27 Jan 2019 09:42:29 +0000 (15:12 +0530)] 
[HOTFIX] Upgraded jars to work S3 with presto

There is a duplicate jar aws-java-sdk and low version jars avoid connecting to S3 in presto. Those jars are upgraded in this PR and updated doc.

This closes #3110

3 weeks ago[CARBONDATA-3273] [CARBONDATA-3274] Fix for SORT_SCOPE in CarbonLoadDataCommand
namanrastogi [Fri, 25 Jan 2019 09:49:58 +0000 (15:19 +0530)] 
[CARBONDATA-3273] [CARBONDATA-3274] Fix for SORT_SCOPE in CarbonLoadDataCommand

Problem1: With no SORT_COLUMNS, loading data was taking SORT_SCOPE=LOCAL_SORT instead of NO_SORT.
Solution: Added a check for SORT_COLUMNS in CarbonLoadDataCommand

Problem2: On table with some SORT_COLUMNS and SORT_SCOPE not specified, SORT_SCOPE was not considering CARBON.OPTIONS.SORT.SCOPE for SORT_SCOPE.
Solution: Added checking of CARBON.OPTIONS.SORT.SCOPE while loading.

This closes #3103

3 weeks ago[CARBONDATA-3272]fix ArrayIndexOutOfBoundsException of horizontal compaction during...
akashrn5 [Fri, 25 Jan 2019 09:05:32 +0000 (14:35 +0530)] 
[CARBONDATA-3272]fix ArrayIndexOutOfBoundsException of horizontal compaction during update, when cardinality changes within a segment

Problem:
During horizontal compaction in update, we prepare a taskBlockMapping to get the resultIterators. horizontal compaction will be done within a segment. Here, source segment properties will be always prepared by the filefooter of first block in the blocklist for a corresponding task. source segment properties will contain the dimensionKeyGenerator which will be used to convert the rows. If the cardinality is different for two blcoks for a task, then the dimensionKeyGenerator will be different. Since we always take the first one, it failed with ArrayIndexOutOfBoundsException for other block with different keyGenerator.

Solution
so get all the blocks present in a task and then split into multiple lists of same key length and create separate RawResultIterator for each list of same key length. If all the blocks have same keylength, then make a single RawResultIterator for all the blocks

This closes #3102

3 weeks ago[HOTFIX] Fix select query on varchar column with large data fails with jvm crash
shardul-cr7 [Fri, 25 Jan 2019 11:13:45 +0000 (16:43 +0530)] 
[HOTFIX] Fix select query on varchar column with large data fails with jvm crash

Problem : When select query fired on varchar column having large data it results in JVM crash because when when we increase the ReusableBuffer by 30% the new size gets gets reduced because requestSize * 30 gets out of range for int which gives a negative value and the total size gets reduced.

Solution : While assigning the size to ByteBuffer we first check if total size less than the requested size then we pass requested size to to the ByteBuffer.

This closes #3104

3 weeks ago[CARBONDATA-3269] Fix ArrayIndexOutOfBoundsException of Range_Column when using KryoS...
QiangCai [Fri, 25 Jan 2019 06:29:55 +0000 (14:29 +0800)] 
[CARBONDATA-3269] Fix ArrayIndexOutOfBoundsException of Range_Column when using KryoSerializer

Fix ArrayIndexOutOfBoundsException of Range_Column when using KryoSerializer

This closes #3100

3 weeks ago[CARBONDATA-3268] Fix for query on Varchar Columns showing Null in Presto
manishnalla1994 [Fri, 25 Jan 2019 05:24:13 +0000 (10:54 +0530)] 
[CARBONDATA-3268] Fix for query on Varchar Columns showing Null in Presto

Problem: Select query on Varchar columns shows null in Presto as it was going to ObjectStreamReader instead of SliceStreamReader.

Solution: Handled the scenario by adding a check for Varchar while creating StreamReader.

This closes #3099

3 weeks ago[CARBONDATA-3235] Fixed Alter Table Rename
namanrastogi [Wed, 23 Jan 2019 12:27:35 +0000 (17:57 +0530)] 
[CARBONDATA-3235] Fixed Alter Table Rename

Fixed negative scenario: Alter Table Rename Table Fail

Problem: When tabe rename is success in hive, for failed in carbon data store, it would throw exception, but would not go back and undo rename in hive.

Solution: A flag to keep check if hive rename has already executed, and of the code breaks after hive rename is done, go back and undo the hive rename.

This closes #3098

3 weeks ago[CARBONDATA-3275][TEST] Fix errors in tests
xubo245 [Sat, 26 Jan 2019 13:21:22 +0000 (21:21 +0800)] 
[CARBONDATA-3275][TEST] Fix errors in tests

Fix 4 errors in CI after PR 3094 merged

This closes #3105

3 weeks ago[CARBONDATA-3264] Added SORT_SCOPE in ALTER TABLE SET
namanrastogi [Tue, 22 Jan 2019 06:12:40 +0000 (11:42 +0530)] 
[CARBONDATA-3264] Added SORT_SCOPE in ALTER TABLE SET

Added SORT_SCOPE in ALTER TABLE SET Command.
This command changes the SORT_SCOPE of table after table has been created.

Usage:

ALTER TABLE <table> SET TBLPROPERTIES('sort_scope'='no_sort')
Restrictions:

Cannot change SORT_SCOPE from NO_SORT to anything else when SORT_COLUMNS is empty.

This closes #3094

3 weeks ago[CARBONDATA-3232] Add example and doc for alluxio integration
xubo245 [Mon, 7 Jan 2019 12:27:37 +0000 (20:27 +0800)] 
[CARBONDATA-3232] Add example and doc for alluxio integration

Optimize carbonData usage with alluxio:
1.Add doc
2.optimize the example

This closes #3054

3 weeks ago[CARBONDATA-3252] Remove unused import
gouyangyangy [Mon, 21 Jan 2019 06:51:43 +0000 (14:51 +0800)] 
[CARBONDATA-3252] Remove unused import

Delete unused packages

This closes #3087

3 weeks ago[HOTFIX] presto carbon doesn't work with Hadoop conf in cluster.
ajantha-bhat [Mon, 21 Jan 2019 12:17:22 +0000 (17:47 +0530)] 
[HOTFIX] presto carbon doesn't work with Hadoop conf in cluster.

problem : presto carbon doesn't work with Hadoop conf in cluster.

cause:
When presto queries are run in cluster, it fails with below message.
IllegalArgumentException java.net.UnknownHostException: hacluster
configuration from hdfsEnvironment is not used while checking schema path. hence the file factory is throwing exception.

solution: set the configuration while checking schema path and other places in presto

This closes #3089

3 weeks ago[CARBONDATA-3265] Fixed memory leak in Range Sort
shivamasn [Tue, 22 Jan 2019 09:58:10 +0000 (15:28 +0530)] 
[CARBONDATA-3265] Fixed memory leak in Range Sort

In range sort, unsafe memory was not getting cleared in case of task failure.
So, added a fix for memory leak.

This closes #3095

3 weeks ago[CARBONDATA-3267]Fixed Range Sort OOM Issue
kumarvishal09 [Tue, 22 Jan 2019 17:07:26 +0000 (22:37 +0530)] 
[CARBONDATA-3267]Fixed Range Sort OOM Issue

Problem:
Range sort is failing with OOM.

Root cause:
This is because UnsafeSortStorageMemory is not able to control the off heap memory because of this when huge data is loaded it OOM exception is coming fron UnsafeMemoryAllocator.allocate.

Solution:
Added code code to control Sort Storage memory. After sorting the rows if memory is available then only add sorted records to sort storage memory otherwise write to disk

This closes #3096

3 weeks ago[CARBONDATA-3262] Fix merge index failure handling for compacted segment
kunal642 [Mon, 21 Jan 2019 15:15:24 +0000 (20:45 +0530)] 
[CARBONDATA-3262] Fix merge index failure handling for compacted segment

Problem: When merge index file writing fails, the load details for the segments being merged is wrongly written with the merged segment file name.
Due to this when the next load happens the segment file for merged segment is deleted.
Solution: Dont throw exception when merge index fails.

This closes #3090

3 weeks ago[CARBONDATA-3257] Fix for NO_SORT load and describe formatted being in NO_SORT flow...
manishnalla1994 [Mon, 21 Jan 2019 11:53:37 +0000 (17:23 +0530)] 
[CARBONDATA-3257] Fix for NO_SORT load and describe formatted being in NO_SORT flow even with Sort Columns given

Problem: Data Load is in No sort flow when version is upgraded even if sort columns are given. Also describe formatted displays wrong sort scope after refresh.

Solution: Added a condition to check for the presence of Sort Columns.

This closes #3083

3 weeks ago[CARBONDATA-3263] Update doc for RANGE_COLUMN
QiangCai [Tue, 22 Jan 2019 03:27:04 +0000 (11:27 +0800)] 
[CARBONDATA-3263] Update doc for RANGE_COLUMN

Added documentation for range_column feature support

This closes #3093

3 weeks ago[DOC] Updated Presto guide
ravipesala [Mon, 21 Jan 2019 06:57:40 +0000 (12:27 +0530)] 
[DOC] Updated Presto guide

Added more information about CarbonData configurations for Presto and clearly highlighted the sections in the document

This closes #3088

3 weeks ago[CARBONDATA-3246]Fix sdk reader issue if batch size is given as zero and vectorRead...
shardul-cr7 [Wed, 23 Jan 2019 06:01:04 +0000 (11:31 +0530)] 
[CARBONDATA-3246]Fix sdk reader issue if batch size is given as zero and vectorRead False.

Problem: SDK reader is failing if vectorRead is false and detail query batch size is given as 0.
Compiler is giving stack overflow error after getting stuck in ChunkRowIterator.hasnext recurssion.

Solution: Since 0 is wrong batch size, we should take DETAIL_QUERY_BATCH_SIZE_DEFAULT as the batch size

This closes #3097

4 weeks ago[DOC] Update range_info partition example in ddl description
qiuchenjian [Tue, 22 Jan 2019 02:36:30 +0000 (10:36 +0800)] 
[DOC] Update range_info partition example in ddl description

This closes #3092

4 weeks ago[CARBONDATA-3243] Updated DOC for No-Sort Compaction and a few Fixes
namanrastogi [Thu, 10 Jan 2019 09:10:23 +0000 (14:40 +0530)] 
[CARBONDATA-3243] Updated DOC for No-Sort Compaction and a few Fixes

Updated Doc
Checking SORT_SCOPE in session property CARBON.TABLE.LOAD.SORT.SCOPE in CarbonTable.getSortScope()
Changed default Sort Scope in SortScopeOptions.getSortScope()
Validation for Load Option SORT_SCOPE
Add the iterator in priority queue only of record is found in iterator, else not.

This closes #3064

4 weeks ago[CARBONDATA-3259] Added documentation for new complex delimiters
manishnalla1994 [Mon, 21 Jan 2019 05:00:29 +0000 (10:30 +0530)] 
[CARBONDATA-3259] Added documentation for new complex delimiters

Change of Level_1 and Level_2 Default Complex Delimiters to '\001'
and '\002' and added new Level_3 delimiter as '\003' in documentation.

This closes #3086

4 weeks ago[CARBONDATA-3260] Fix the Hive stats issue in carbon catalog table
ravipesala [Thu, 17 Jan 2019 13:50:51 +0000 (19:20 +0530)] 
[CARBONDATA-3260] Fix the Hive stats issue in carbon catalog table

Problem:
When carbon table is created hive calculate some junk stats keep it
in hive catalog table. From Spark 2.3 onwards spark considering the
hive stats to calculate the broadcast join, so it is not working.

Solution:
Set the hive stats to None in case of carbon table.

This closes #3082

4 weeks ago[CARBONDATA-3261] support float and byte data type reading from presto carbon
ajantha-bhat [Mon, 21 Jan 2019 02:33:02 +0000 (08:03 +0530)] 
[CARBONDATA-3261] support float and byte data type reading from presto carbon

[CARBONDATA-3261] support float and byte data type reading from presto

problem: support float and byte reading from presto

cause: currently float and byte cannot be read in presto due to code issue. It was going as double data type. Hence array out of bound issue used to come as float/byte read from double stream reader.

solution: Implement a new stream reader for float and byte.

This closes #3085

4 weeks ago[SDV] Fix SDV testcase failures
shivamasn [Thu, 17 Jan 2019 12:42:23 +0000 (18:12 +0530)] 
[SDV] Fix SDV testcase failures

problem: Dictionary Include test cases were failing because the plan was incorrect.

solution: Updated the plan in the QueryTest.

This closes #3081

4 weeks ago[CARBONDATA-3242] Move Range_Column into the table level properties
QiangCai [Thu, 10 Jan 2019 13:03:14 +0000 (21:03 +0800)] 
[CARBONDATA-3242] Move Range_Column into the table level properties

Move Range_Column into the table level properties

This closes #3063

4 weeks agoOptimize presto-guide
Liang Chen [Thu, 10 Jan 2019 15:28:38 +0000 (23:28 +0800)] 
Optimize presto-guide

Some users made mistake: copy the assemble jar. Add more description to clarify, need to copy many jars from integration/presto/target/carbondata-presto-x.x.x-SNAPSHOT

This closes #3065

4 weeks ago[CARBONDATA-3253] Remove test case of bloom datamap using search mode
Manhua [Wed, 9 Jan 2019 08:37:25 +0000 (16:37 +0800)] 
[CARBONDATA-3253] Remove test case of bloom datamap using search mode

Remove test case of bloom datamap using search mode

This closes #3077

4 weeks ago[CARBONDATA-3246]Fix sdk reader issue if batch size is given as zero and vectorRead...
shardul-cr7 [Fri, 11 Jan 2019 10:40:27 +0000 (16:10 +0530)] 
[CARBONDATA-3246]Fix sdk reader issue if batch size is given as zero and vectorRead False

Problem: SDK reader is failing if vectorRead is false and detail query batch
size is given as 0.Compiler is giving stack overflow error after getting stuck
in ChunkRowIterator.hasnext recurssion.
Solution: Since 0 is wrong batch size, we should take DETAIL_QUERY_BATCH_SIZE_DEFAULT
as the batch size.

This closes #3070

4 weeks ago[HOTFIX] Fixed NPE during query with Local Dictionary
kumarvishal09 [Fri, 11 Jan 2019 09:44:53 +0000 (15:14 +0530)] 
[HOTFIX] Fixed NPE during query with Local Dictionary

Problem:
Query is failing with NPE when some blocklet encoded with local dictionary and some without local dictionary.
Root Cause:
This is coming because in carbonvectorProxy setDictionary with null it is not setting the dictionary to null because of this it is treated like a local dictionary column but column is not encoded with dictionary.
Solution:
Set dictionary to null

This closes #3068

4 weeks ago[CARBONDATA-3238] Solve StackOverflowError using MV datamap
qiuchenjian [Wed, 9 Jan 2019 03:07:41 +0000 (11:07 +0800)] 
[CARBONDATA-3238] Solve StackOverflowError using MV datamap

【Problem】 An exception or error caused a run to abort. (Using MV)
java.lang.StackOverflowError
at org.apache.spark.sql.catalyst.expressions.AttributeMap6712anonfun.apply(AttributeMap.scala:34)
at org.apache.spark.sql.catalyst.expressions.AttributeMap6712anonfun.apply(AttributeMap.scala:34)
at scala.Option.map(Option.scala:146)
at org.apache.spark.sql.catalyst.expressions.AttributeMap.get(AttributeMap.scala:34)
at org.apache.spark.sql.catalyst.expressions.AttributeMap.contains(AttributeMap.scala:36)
at org.apache.carbondata.mv.rewrite.SelectSelectGroupbyChildDelta6712anonfun.applyOrElse(DefaultMatchMaker.scala:693)

【Cause】When column of table is lowcase and column of mv is uppercase and this column is the selected column(detail test case see the code), the tree node of this selected column in the logic plan tree have will be alias which has a child of attributeReference, when this code run in the sel_3q.transformExpressions in DefaultMatchMaker.scala, the executor rule will cause loop call in transformDown of TreeNode class。

【Solution】this executor rule only need be transformed twrice or less by one experssion(select and having), so define a flag to solve it

This closes #3058

4 weeks ago[CARBONDATA-3251] Fix spark-2.1 UT errors
xubo245 [Tue, 15 Jan 2019 03:12:21 +0000 (11:12 +0800)] 
[CARBONDATA-3251] Fix spark-2.1 UT errors

This closes #3075

4 weeks ago[CARBONDATA-3215] Optimize the documentation
xubo245 [Fri, 28 Dec 2018 12:37:16 +0000 (20:37 +0800)] 
[CARBONDATA-3215] Optimize the documentation

When user use the Global dictionary, local dictionary,non-dictionary in the code,
users maybe have some confusion. The same for mvdataMap and IndexDataMap. I describe and list it in this PR.

1.describe Global dictionary, local dictionary,non-dictionary together in doc
2.list mvdataMap and IndexDataMap

This closes #3033

4 weeks ago[HOTFIX][DataLoad]fix task assignment issue using NODE_MIN_SIZE_FIRST block assignmen...
ndwangsen [Wed, 9 Jan 2019 10:44:08 +0000 (18:44 +0800)] 
[HOTFIX][DataLoad]fix task assignment issue using NODE_MIN_SIZE_FIRST block assignment strategy

This PR sloves the problem of incorrect assignment of tasks if specified minimum data size to load is less than the average size for each node.

This closes #3059

4 weeks ago[CARBONDATA-3233]Fix JVM crash issue in snappy compressor and update the pagesize...
akashrn5 [Mon, 7 Jan 2019 11:04:48 +0000 (16:34 +0530)] 
[CARBONDATA-3233]Fix JVM crash issue in snappy compressor and update the pagesize correctly

Problem:
1. During dataload sometimes the JVM is crashed during offheap snappy compression. We get the maximun compress size from compressor and allocate
that much memory and then call rawCompress with the base offset of page and then base offset of newly created memory block. During this call
sometimes JVM crashes from Snappy. This issue is random one and fails only sometimes.
2. PageSize is getting updated wrongly, actaul pageSize is number of rows in page, we were updaing the rowId not rowSize

Solution:
Remove the method implementation and let super class handle the compression based on the datatype. which will fix this random JVM crash issue

This closes #3053

4 weeks ago[CARBONDATA-3239] Fix ArrayIndexOutOfBoundsException in DataSkewRangePartitioner
QiangCai [Thu, 10 Jan 2019 07:30:31 +0000 (15:30 +0800)] 
[CARBONDATA-3239] Fix ArrayIndexOutOfBoundsException in DataSkewRangePartitioner

Fix ArrayIndexOutOfBoundsException in DataSkewRangePartitioner and add test case

This closes #3061

4 weeks ago[HOTFIX] Exclude filter doesn't work in presto carbon in cluster
ajantha-bhat [Wed, 9 Jan 2019 13:26:10 +0000 (18:56 +0530)] 
[HOTFIX] Exclude filter doesn't work in presto carbon in cluster

problem1: Exclude filter fails in cluster for presto carbon with exception.

java.lang.NoClassDefFoundError: org/roaringbitmap/RoaringBitmap
        at org.apache.carbondata.core.scan.filter.FilterUtil.prepareExcludeFilterMembers(FilterUtil.java:826)
        at org.apache.carbondata.core.scan.filter.FilterUtil.getDimColumnFilterInfoAfterApplyingCBO(FilterUtil.java:776)
        at org.apache.carbondata.core.scan.filter.FilterUtil.getFilterListForAllValues(FilterUtil.java:884)

cause: RoaringBitmap jar is not added in the dependency, hence it is not present in the presto snapshot folder.
solution : include RoaringBitmap in dependency.

problem2: Local dictionary reset was not proper in vector for presto slice reader.
cause : For each batch local dictionary was resetting. Instead of the actual place reset.
solution : reset local dictionary when dictionary is set to null.

This closes #3060

4 weeks ago[HOTFIX] Fix compile error after merging PR#3001
Zhang Zhichao [Fri, 11 Jan 2019 02:14:50 +0000 (10:14 +0800)] 
[HOTFIX] Fix compile error after merging PR#3001

Fix compile error after merging PR#3001

This closes #3067

5 weeks ago[CARBONDATA-3241] Refactor the requested scan columns and the projection columns
dhatchayani [Thu, 10 Jan 2019 09:30:51 +0000 (15:00 +0530)] 
[CARBONDATA-3241] Refactor the requested scan columns and the projection columns

Refactor the requested columns methods by changing both the scan list and the projection list together.

This closes #3062

5 weeks ago[CARBONDATA-3226] Remove duplicated and useless files
runzhliu [Mon, 14 Jan 2019 02:33:35 +0000 (10:33 +0800)] 
[CARBONDATA-3226] Remove duplicated and useless files

After a more careful inspection, remove some empty files.

This closes #3073

5 weeks ago[CARBONDATA-3220] Support presto to read stream segment data
QiangCai [Wed, 9 Jan 2019 14:06:02 +0000 (22:06 +0800)] 
[CARBONDATA-3220] Support presto to read stream segment data

Support presto read the streaming table

re-factory old CarbonStreamRecordReader to reuse code for presto
change CarbondataPageSource to support read streaming data by StreamRecordReader

This closes #3001

5 weeks ago[CARBONDATA-3237] Fix presto carbon issues in dictionary include scenario
ajantha-bhat [Mon, 7 Jan 2019 09:20:11 +0000 (14:50 +0530)] 
[CARBONDATA-3237] Fix presto carbon issues in dictionary include scenario

problem1: Decimal column with dictionary include cannot be read in
presto
cause: int is typecasted to decimal for dictionary columns in decimal stream reader.
solution: keep original data type as well as new data type for decimal
stream reader.

problem2: Optimize presto query time for dictionary include string column
currently, for each query, presto carbon creates dictionary block for string columns.
cause: This happens for each query and if cardinality is more , it takes more time to build.
solution: dictionary block is not required. we can lookup using normal dictionary lookup.

This closes #3055

5 weeks ago[CARBONDATA-3200] No-Sort compaction
namanrastogi [Wed, 2 Jan 2019 10:56:09 +0000 (16:26 +0530)] 
[CARBONDATA-3200] No-Sort compaction

When the data is loaded with SORT_SCOPE as NO_SORT, and done compaction upon, the data still remains unsorted. This does not affect much in query.
The major purpose of compaction, is better pack the data and improve query performance.

Now, the expected behaviour of compaction is sort to the data, so that after compaction, query performance becomes better.
 The columns to sort upon are provided by SORT_COLUMNS.

The new compaction works as follows:

Do sorting on unsorted & restructured data and store in temporary files
Pick a row from those temporary files, and already sorted carbondata files, according to a comparator on sort_columns.
Write data to a new segment (similar to old compaction flow).
Repeat steps 2 & 3 until no more rows are left.

This closes #3029

5 weeks ago[CARBONDATA-3236] Fix for JVM Crash for insert into new table from old table
manishnalla1994 [Tue, 8 Jan 2019 10:42:55 +0000 (16:12 +0530)] 
[CARBONDATA-3236] Fix for JVM Crash for insert into new table from old table

Problem: Insert into new table from old table fails with JVM crash for file format(Using carbondata).
This happened because both the query and load flow were assigned the same taskId and once query finished
it freed the unsafe memory while the insert still in progress.

Solution: As the flow for file format is direct flow and uses on-heap(safe) so no need to free the unsafe memory in query.

This closes #3056

5 weeks ago[CARBONDATA-3235] Fix Rename-Fail & Datamap-creation-Fail
namanrastogi [Thu, 13 Dec 2018 10:39:58 +0000 (16:09 +0530)] 
[CARBONDATA-3235] Fix Rename-Fail & Datamap-creation-Fail

1. Alter Table Rename Table Fail

Problem: When tabe rename is success in hive, for failed in carbon data store, it would throw exception, but would not go back and undo rename in hive.

Solution: A flag to keep check if hive rename has already executed, and of the code breaks after hive rename is done, go back and undo the hive rename.

2. Create-Preagregate-Datamap Fail

Problem: When (preaggregate) datamap schema is written, but table updation is failed call CarbonDropDataMapCommand.processMetadata()
call dropDataMapFromSystemFolder() -> this is supposed to delete the folder on disk, but doesnt as the datamap is not yet updated in table,
and throws NoSuchDataMapException

Solution: Call CarbonDropTableCommand.run() instead of CarbonDropTableCommand.processDatamap().
as CarbonDropTableCommand.processData() deletes actual folders from disk.

This closes #2996

5 weeks ago[CARBONDATA-3210] Merge common method into CarbonSparkUtil and fix example error
xiaohui0318 [Fri, 28 Dec 2018 06:08:54 +0000 (14:08 +0800)] 
[CARBONDATA-3210] Merge common method into CarbonSparkUtil and fix example error

1.merge public methods to spark2/src/main/scala/org/apache/carbondata/spark/util/CarbonSparkUtil.scala
org.apache.carbondata.examples.S3UsingSDKExample#getKeyOnPrefix
org.apache.carbondata.examples.S3Example$#getKeyOnPrefix
org.apache.carbondata.spark.thriftserver.CarbonThriftServer#getKeyOnPrefix

2. fix the error of S3UsingSDKExample

This closes #3032

5 weeks ago[CARBONDATA-3201] Added load level SORT_SCOPE
namanrastogi [Fri, 21 Dec 2018 07:33:30 +0000 (13:03 +0530)] 
[CARBONDATA-3201] Added load level SORT_SCOPE
Added SORT_SCOPE in Load Options & in SET Command

1. Added load level SORT_SCOPE
2. Added Sort_Scope for PreAgg
3. Added sort_scope msg for LoadDataCommand
4. Added property CARBON.TABLE.LOAD.SORT.SCOPE.<database>.<table> to set table level sort_scope property
5. Removed test case veryfying LOAD_OPTIONS with SORT_SCOPE

Load level SORT_SCOPE
LOAD DATA INPATH 'path/to/data.csv'
INTO TABLE my_table
OPTIONS (
   'sort_scope'='no_sort'
)
Priority of SORT_SCOPE
Load Level (if provided)
Table level (if provided)
Default

This closes #3014

6 weeks ago[CARBONDATA-3230] Add alter test case for datasource
xubo245 [Wed, 26 Dec 2018 04:03:01 +0000 (12:03 +0800)] 
[CARBONDATA-3230] Add alter test case for datasource

[CARBONDATA-3230] Add ALTER test case with datasource for using parquet and carbon

1.add column. => carbon and parquet don't support, limit from Spark
2.drop column => carbon doesn't support in sql, limit from Spark, but using DF is ok; parquet use DF is ok, but sql doesn't support iy.
3.rename column =》 carbon and parquet support it.
4.change datatype of column => carbon parquet doesn't support, limit from Spark, spark only support change comment

This closes #3024

6 weeks ago[CARBONDATA-3221] Fix the error of SDK don't support read multiple file from S3
xubo245 [Fri, 4 Jan 2019 08:53:48 +0000 (16:53 +0800)] 
[CARBONDATA-3221] Fix the error of SDK don't support read multiple file from S3

SDK reader is ok with filter, but when we read data without filter, the ((CarbonInputSplit) inputSplit).getDetailInfo().getBlockFooterOffset() will be 0 and
FileReader reader don't closed after readByteBuffer in org.apache.carbondata.hadoop.util.CarbonVectorizedRecordReader#initialize, so we should invoke finish after readByteBuffer

This closes #3051

6 weeks ago[CARBONDATA-3219] Support range partition the input data for local_sort/global sort...
QiangCai [Fri, 4 Jan 2019 08:40:25 +0000 (16:40 +0800)] 
[CARBONDATA-3219] Support range partition the input data for local_sort/global sort data loading

For global_sort/local_sort table, load data command add RANGE_COLUMN option

load data inpath '<path>' into table <table name>
options('RANGE_COLUMN'='<a column>')
when we know the total size of input data, we can calculate the number of the partitions.
load data inpath '<path>' into table <table name>
options('RANGE_COLUMN'='<a column>', 'global_sort_partitions'='10')
when we don't know the total size of the input data, we can give the size of each partition.
load data inpath '<path>' into table <table name>
options('RANGE_COLUMN'='<a column>', 'scale_factor'='10')
it will calcute the number of the partitions as follows.

splitSize =  Math.max(blocklet_size, (block_size - blocklet_size)) * scale_factor
numPartitions = Math.ceil(total size / splitSize)
Limitation:

not support insert into, support only load data command,
not support multiple range columns, support only one range column
exists data skew

This closes #2971

6 weeks ago[CARBONDATA-3211] Optimize the documentation
binw305@163.com [Thu, 3 Jan 2019 15:22:51 +0000 (23:22 +0800)] 
[CARBONDATA-3211] Optimize the documentation

Optimize the upper/lower case problem

This closes #3050

6 weeks ago[CARBONDATA-3227] Fix some spell errors in the project
XiaotaoYi [Sat, 5 Jan 2019 10:18:37 +0000 (18:18 +0800)] 
[CARBONDATA-3227] Fix some spell errors in the project

Correct scala variable name in three files:
carbondata\integration\spark-common\src\main\scala\org\apache\spark\sql\catalyst\CarbonDDLSqlParser.scala
carbondata\integration\spark-common\src\main\scala\org\apache\carbondata\spark\util\CarbonScalaUtil.scala
carbondata\integration\spark2\src\main\scala\org\apache\spark\util\AlterTableUtil.scala

Change variable name from
escapechar -> escapeChar
optionlist -> optionList
hivedefaultpartition -> hiveDefaultPartition
pvalue -> pValue
errormsg -> errorMsg
isDetectAsDimentionDatatype -> isDetectAsDimentionDataType

This closes #3052

6 weeks ago[CARBONDATA-3224] Support SDK validate the improper value when using withLoadOptions
xubo245 [Thu, 3 Jan 2019 03:26:55 +0000 (11:26 +0800)] 
[CARBONDATA-3224] Support SDK validate the improper value when using withLoadOptions

1. validate BAD_RECORDS_ACTION
2. validate BAD_RECORDS_LOGGER_ENABLE

This closes #3048

6 weeks ago[CARBONDATA-3222]Fix dataload failure after creation of preaggregate datamap
shardul-cr7 [Wed, 2 Jan 2019 09:17:34 +0000 (14:47 +0530)] 
[CARBONDATA-3222]Fix dataload failure after creation of preaggregate datamap
on main table with long_string_columns

Dataload is gettling failed because child table properties are not getting
modified according to the parent table for long_string_columns.
This occurs only when long_string_columns is not specified in dmproperties
for preaggregate datamap but the datamap was getting created and data load
was failing. This PR is to avoid the dataload failure in this scenario.

This closes #3045

6 weeks ago[CARBONDATA-3189] Fix PreAggregate Datamap Issue
Shubh18s [Thu, 20 Dec 2018 11:17:32 +0000 (16:47 +0530)] 
[CARBONDATA-3189] Fix PreAggregate Datamap Issue

Problem -
Load and Select query was failing on table with preaggregate datamap.

Cause -
Previously if query on datamap was not enabled in thread, there was no check afterwards.

Solution -
After checking whether thread param for Direct Query On Datamap is enable. If not enable, we check in session params and then global.

This closes #3010

6 weeks ago[CARBONDATA-3223] Fixed Wrong Datasize and Indexsize calculation for old store using...
manishnalla1994 [Wed, 2 Jan 2019 12:30:36 +0000 (18:00 +0530)] 
[CARBONDATA-3223] Fixed Wrong Datasize and Indexsize calculation for old store using Show Segments

Problem: Table Created and Loading on older version(1.1) was showing data-size and index-size 0B when refreshed on new version. This was
because when the data-size was coming as "null" we were not computing it, directly assigning 0 value to it.

Solution: Showing the old datasize and indexsize as NA.

Also refactored SetQuerySegment code for better understandability.

This closes #3047

6 weeks ago[CARBONDATA-3226] Remove duplicated and useless files
Oscar [Thu, 3 Jan 2019 14:20:16 +0000 (22:20 +0800)] 
[CARBONDATA-3226] Remove duplicated and useless files

Remove duplicated and useless files from the project.

This closes #3049

6 weeks ago[CARBONDATA-3149] Documentation for alter table column rename
akashrn5 [Wed, 2 Jan 2019 06:39:05 +0000 (12:09 +0530)] 
[CARBONDATA-3149] Documentation for alter table column rename

Added documentation for alter table column rename

This closes #3044

6 weeks ago[CARBONDATA-3217] Optimize implicit filter expression performance by removing extra...
manishgupta88 [Thu, 27 Dec 2018 09:48:07 +0000 (15:18 +0530)] 
[CARBONDATA-3217] Optimize implicit filter expression performance by removing extra serialization

Fixed performance issue for Implicit filter column
1. Removed serialization all the implicit filter values in each task. Instead serialized values only for the blocks going to particular task
2. Removed 2 times deserialization of implicit filter values in executor for each task. 1 time is sufficient

This closes #3039

6 weeks ago[CARBONDATA-3216] Fix enableLocalDictionary with false issue in CSDK
xubo245 [Sat, 29 Dec 2018 03:34:41 +0000 (11:34 +0800)] 
[CARBONDATA-3216] Fix enableLocalDictionary with false issue in CSDK

This closes #3035

6 weeks ago[HOTFIX] Optimize the code style in csdk/sdk markdown doc
lamber-ken [Thu, 27 Dec 2018 13:52:21 +0000 (21:52 +0800)] 
[HOTFIX] Optimize the code style in csdk/sdk markdown doc

optimize backoff csdk-guide & sdk-guide doc code style

This closes #3030

6 weeks ago[CARBONDATA-3212] Fixed NegativeArraySizeException while querying in specific scenario
shivamasn [Wed, 2 Jan 2019 10:49:22 +0000 (16:19 +0530)] 
[CARBONDATA-3212] Fixed NegativeArraySizeException while querying in specific scenario

Problem:In Local Dictionary, page size was not getting updated for complex children columns. So during fallback,
new page was being created with less records giving NegativeArraySizeException while querying data.

Solution:Updated the page size in Local Dictionary.

This closes#3031

6 weeks ago[CARBONDATA-3218] Fix schema refresh and wrong query result issues in presto.
ravipesala [Mon, 31 Dec 2018 11:50:24 +0000 (17:20 +0530)] 
[CARBONDATA-3218] Fix schema refresh and wrong query result issues in presto.

Problem:
Schema which is updated in spark is not reflecting in presto. which results in wrong query result in presto.

Solution:
Update the schema in presto whenever the schema changed in spark. And also override the putNulls method in all presto readers to work for null data scenarios.

This closes #3041

7 weeks ago[CARBONDATA-3205]Fix Get Local Dictionary for empty Array of String
Indhumathi27 [Thu, 27 Dec 2018 12:02:48 +0000 (17:32 +0530)] 
[CARBONDATA-3205]Fix Get Local Dictionary for empty Array of String

Problem:
In case of Array data type, if the data is empty then the Local dictionary entry for the data will not be created.
So, while querying the data, dictionary value read from the local dictionary will go wrong.
In case we have 3 rows of data with the first row as empty data, then the number of local dictionary entries will be 2. Reading back the dictionary values from the local dictionary while query throws ArrayIndexOutOfBoundException.

Solution:
Check for the dictionary value presence, fill default value only if dictionary values exists.

This closes #3028

7 weeks ago[CARBONDATA-3206] Fix some spell errors in CarbonData
WangQingNa [Tue, 1 Jan 2019 02:19:13 +0000 (10:19 +0800)] 
[CARBONDATA-3206] Fix some spell errors in CarbonData

Fix some spell errors:
numberofColumnPerIOString. => numberOfColumnPerIOString
numberofColumnPerIO => numberOfColumnPerIO
iexpectedMinSizePerNode => expectedMinSizePerNodeInt
parentname => parentName
nullformat => nullFormat

This closes #3042

7 weeks ago[CARBONDATA-3213] Add license for java and md files
iture [Tue, 1 Jan 2019 07:08:41 +0000 (15:08 +0800)] 
[CARBONDATA-3213] Add license for java and md files

 Add license for java and md files

This closes #3043

7 weeks ago[CARBONDATA-3209] Remove unused import
wangguangxin.cn [Mon, 31 Dec 2018 08:23:38 +0000 (16:23 +0800)] 
[CARBONDATA-3209] Remove unused import

Remove unused import

This closes #3038

7 weeks ago[CARBONDATA-3208] Remove unused parameters, imports and optimize the spell errors
Oscar [Thu, 27 Dec 2018 23:24:06 +0000 (07:24 +0800)] 
[CARBONDATA-3208] Remove unused parameters, imports and optimize the spell errors

Remove unused parameters, imports, optimize the spell errors,fix some typos.

This closes #3036

7 weeks ago[CARBONDATA-3202]update the schema to session catalog after add column, drop column...
akashrn5 [Thu, 27 Dec 2018 06:01:44 +0000 (11:31 +0530)] 
[CARBONDATA-3202]update the schema to session catalog after add column, drop column and column rename

Problem:

1. For alter table rename, once we change the table name in carbon, we fire alter table rename DDL using hive client. But for add, drop and column
rename Spark does not support there features, but hive supports. so after rename, or add or drop column, the new updated schema is not updated in catalog.
2. after column rename column comment is not getting copied to renamed column

Solution:

1. We can directly call the spark API alterTableDataSchema by passing the updated schema, which in turn updates the shema in sessioncatalog. Since
this API is supported from spark2.1 onward, codes changes will be for spark 2.2 and spark2.3, behavior with spark2.1 remains the same.
2. while updating the catalog schema, if column has comment, put in column metadata

This closes #3027

7 weeks ago[CARBONDATA-3126] Correct some spell errors in CarbonData
tisonkong [Sat, 29 Dec 2018 02:02:27 +0000 (10:02 +0800)] 
[CARBONDATA-3126] Correct some spell errors in CarbonData

This PR fix some spell errors in CarbonData.

This closes #3034

7 weeks ago[CARBONDATA-3194] Integrating Carbon with Presto using hive connector
ravipesala [Wed, 19 Dec 2018 15:49:41 +0000 (21:19 +0530)] 
[CARBONDATA-3194] Integrating Carbon with Presto using hive connector

This PR extend the CarbondataConnectorFactory with HiveConnectorFactory, so that all features of HIve presto connector will be inherited to carbon as well.
It simplifies the integration so removed lot of old code.

This closes #3019

7 weeks ago[CARBONDATA-3196] [CARBONDATA-3203]Fixed Compaction for Complex types with Dictionary...
manishnalla1994 [Mon, 24 Dec 2018 12:07:36 +0000 (17:37 +0530)] 
[CARBONDATA-3196] [CARBONDATA-3203]Fixed Compaction for Complex types with Dictionary Include and also supported Compaction for restructured table

Problem1: Compaction Failing for Complex datatypes with Dictionary Include as KeyGenenrator was not being set in model for Dictionary Include Complex
Columns and dictionary include complex columns were not handled for finding cardinality.

Solution: Handled both these issues by setting KeyGenerator and storing cardinality of Complex dictionary include columns.

Problem2: Compaction was failing for restructured table containing dictionary include complex columns.

Solution: Handled complex columns for this case by inserting correct indices of the columns.

This closes #3022

7 weeks ago[CARBONDATA-3195]Added validation for Inverted Index columns and added a test case...
shardul-cr7 [Mon, 24 Dec 2018 07:21:16 +0000 (12:51 +0530)] 
[CARBONDATA-3195]Added validation for Inverted Index columns and added a test case in case of varchar

This PR is to add a validation for inverted index when inverted index columns
are not present in the sort columns they should throw a exception.
Also added a test case in case when varchar columns are passed as inverted index.

This closes #3020

7 weeks ago[Carbondata-3173] Add the hive/presto documents index to the root of file ReadMe.md
BeyondYourself [Thu, 20 Dec 2018 06:39:18 +0000 (14:39 +0800)] 
[Carbondata-3173] Add the hive/presto documents index to the root of file ReadMe.md

Add document, merge the presto documents into the docs folder and modify the related links
It helps user to find the relevant integration documents

This closes #3015

7 weeks ago[CARBONDATA-2218] AlluxioCarbonFile while trying to force rename causes a FileSytem...
Chandra [Mon, 3 Dec 2018 10:20:59 +0000 (18:20 +0800)] 
[CARBONDATA-2218] AlluxioCarbonFile while trying to force rename causes a FileSytem error and is not a DistributionFileSystem.(Adding Alluxio Support)

Implement renameForce for Alluxio integration

This closes #2161

7 weeks ago[HOTFIX] rename field thread_pool_size to match camel case
lamber-ken [Sun, 23 Dec 2018 15:52:15 +0000 (23:52 +0800)] 
[HOTFIX] rename field thread_pool_size to match camel case

This closes #3018

7 weeks ago[CARBONDATA-3165]Protection of Bloom Null Exception
qiuchenjian [Wed, 12 Dec 2018 08:43:31 +0000 (16:43 +0800)] 
[CARBONDATA-3165]Protection of Bloom Null Exception

When filteredShard is empty, return arraylist<>(), and protect null exception of other scenarios

This closes #2984

7 weeks ago[CARBONDATA-3188] Create carbon table as hive understandable metastore table needed...
ravipesala [Wed, 19 Dec 2018 16:30:57 +0000 (22:00 +0530)] 
[CARBONDATA-3188] Create carbon table as hive understandable metastore table needed by Presto and Hive

Problem:
Current carbon table created in spark creates the hive table internally but it does not have much information like schema, input/output format and location details. So other execution engines like Presto and Hive cannot read the table.

Reason:
Spark always checks in HiveSerde static map whether it is a hive supported table or not, since carbon is not registered to that map it cannot create hive understandable table. It justs creates a table without schema and location and adds its own schema as part of properties.

Solution:
Add the carbon details also to HiveSerde static map so that it can create Hive understandable table.

This closes #3004

7 weeks ago[CARBONDATA-3176] Optimize quick-start-guide documentation
lamber-ken [Sun, 16 Dec 2018 17:17:55 +0000 (01:17 +0800)] 
[CARBONDATA-3176] Optimize quick-start-guide documentation

optimize sql with multi lines and fix some markdown style in doc

This closes #2992

7 weeks ago[CARBONDATA-3142]Add timestamp with thread name which created by CarbonThreadFactory
qiuchenjian [Mon, 3 Dec 2018 07:19:37 +0000 (15:19 +0800)] 
[CARBONDATA-3142]Add timestamp with thread name which created by CarbonThreadFactory

Add timestamp with thread name which created by CarbonThreadFactory
Because the names of threads created by CarbonThreadFactory are all the same, such as ProducerPool_, this logs are confused, we can't distinguish threads in the thread pool

This closes #2970

8 weeks ago[CARBONDATA-3080] Supporting local dictionary enable by default for SDK
BJangir [Mon, 5 Nov 2018 14:14:22 +0000 (19:44 +0530)] 
[CARBONDATA-3080] Supporting local dictionary enable by default for SDK

Enabled Local dictionary by default for SDK and handle below issues

In Local dictionary enabled if same cols given multiple times then duplicate projection cols gives empty records in SDK reader.
Solution :- added mapping of projection cols v/s carbon fetch col (remove duplicate while fetching data)

In SDK reader ,Same TaskID is assigned when run CSDKReader reads blocks. For Ex. Read Seq -> read parallel.In this case During Sequence read TaskID is assinged in main thread and during parallel read also all thread got same TaskId (InheritableThreadLocal). This causing some time JVM crash as in concurrent read. refer testReadParallely() testcase .
Solution :- During freeallmemory () clear the Taskinfo also.

This closes #2897

8 weeks ago[CARBONDATA-3184]Fix DataLoad Failure with 'using carbondata'
Indhumathi27 [Tue, 18 Dec 2018 10:38:42 +0000 (16:08 +0530)] 
[CARBONDATA-3184]Fix DataLoad Failure with 'using carbondata'

Problem
When the carbonsession is initialized with different storepath and metastorepath, creating a table through 'using carbondata' and loading the same using load ddl fails, because it tries to get schema from locationuri which contains warehouse path.

Solution:
Set location to tablepath if location and tablepath are different

This closes #2998

8 weeks ago[CARBONDATA-3192] Fix for compaction compatibilty issue
manishnalla1994 [Fri, 21 Dec 2018 13:41:46 +0000 (19:11 +0530)] 
[CARBONDATA-3192] Fix for compaction compatibilty issue

Problem: Table Created, Loaded and Altered(Column added) in 1.5.1 version and Refreshed, Altered(Added Column dropped) ,
 Loaded and Compacted with Varchar Columns in new version giving error.

Solution: Corrected the Varchar Dimension index calculation by calculating it based on the columns
 which have been deleted (invisibleColumns). Hence giving the correct ordinals after deletion.

This closes #3016

8 weeks ago[CARBONDATA-3186]Avoid creating empty carbondata file when all the records are bad...
ajantha-bhat [Wed, 19 Dec 2018 12:57:53 +0000 (18:27 +0530)] 
[CARBONDATA-3186]Avoid creating empty carbondata file when all the records are bad record with action redirect.

problem: In the no_sort flow, writer will be open as there is no blocking sort step.
So, when all the record goes as bad record with redirect in converted step.
writer is closing the empty .carbondata file.
when this empty carbondata file is queried , we get multiple issues including NPE.

solution: When the file size is 0 bytes. do the following
a) If one data and one index file -- delete carbondata file and avoid index file creation
b) If multiple data and one index file (with few data file is full of bad recod)
-- delete carbondata files, remove them from blockIndexInfoList, so index file not will not have that info of empty carbon files
c) In case direct write to store path is enable. need to delete data file from there and avoid writing index file with that carbondata in info.

[HOTFIX] Presto NPE when non-transactional table is cached for s3a/HDFS.
cause: for non-transactional table, schema must not be read.

solution: use inferred schema, instead of checking schema file.

This closes #3003

2 months ago[CARBONDATA-3127]Fix the HiveExample & TestCarbonSerde exception
Nicholas Jiang [Thu, 20 Dec 2018 20:14:09 +0000 (04:14 +0800)] 
[CARBONDATA-3127]Fix the HiveExample & TestCarbonSerde exception

This pull request fix HiveExample and move it to example module

This closes #3012

2 months ago[CARBONDATA-3179] Map Data Load Failure and Struct Projection Pushdown Issue
manishnalla1994 [Fri, 14 Dec 2018 11:50:15 +0000 (17:20 +0530)] 
[CARBONDATA-3179] Map Data Load Failure and Struct Projection Pushdown Issue

Problem1 : Data Load failing for Insert into Select from same table in containing Map datatype.
Solution: Map type was not handled for this scenario. Handled it now.

Problem2 : Projection Pushdown not supported for table containing Struct of Map.
Solution: Pass the parent column only for projection pushdown if table contains MapType.

This closes #2993

2 months ago[CARBONDATA-3149]Support alter table column rename
akashrn5 [Fri, 14 Dec 2018 11:20:09 +0000 (16:50 +0530)] 
[CARBONDATA-3149]Support alter table column rename

This PR is to support column rename feature in carbondata. Carbon already supports datatype change, alter table add column and drop column. This PR uses same DDL as datatype change and supports the column rename.

Any column canbe renamed, since the same DDL is used for rename adn datatype change, both operation can be done together, during that case, the datatupe change validation and limitation remains the same as before

This closes #2990

2 months ago[CARBONDATA-3161]Pipe dilimiter is not working for streaming table online_segment
brijoobopanna [Tue, 18 Dec 2018 10:05:46 +0000 (15:35 +0530)] 
[CARBONDATA-3161]Pipe dilimiter is not working for streaming table

This closes #2997

2 months ago[CARBONDATA-3187] Supported Global Dictionary For Map
manishnalla1994 [Thu, 20 Dec 2018 05:53:46 +0000 (11:23 +0530)] 
[CARBONDATA-3187] Supported Global Dictionary For Map

Problem: Global Dictionary was not working for Map datatype and giving Null values.

Solution:Added the case for Global Dictionary to be created in case the datatype is Complex Map.

This closes #3006

2 months ago[CARBONDATA-3181][BloomDataMap] Fix access field error for BitSet in bloom filter
Manhua [Wed, 19 Dec 2018 03:30:46 +0000 (11:30 +0800)] 
[CARBONDATA-3181][BloomDataMap] Fix access field error for BitSet in bloom filter

Problem
java.lang.IllegalAccessError is thrown when query on bloom filter without compress on CarbonThriftServer.

Analyse
similar problem was occur when get/set BitSet in CarbonBloomFilter, it uses reflection to solve. We can do it like this.
Since we have set the BitSet already, another easier way is to call super class method to avoid accessing it from CarbonBloomFilter

Solution
if bloom filter is not compressed, call super method to test membership

This closes #3000

2 months ago[SDV] Add datasource testcases for Spark File Format
shivamasn [Mon, 26 Nov 2018 10:34:08 +0000 (16:04 +0530)] 
[SDV] Add datasource testcases for Spark File Format

Added datasource test cases for Spark File Format.

This closes #2951

2 months ago[HOTFIX] replace apache common log with carbondata log4j
brijoobopanna [Tue, 18 Dec 2018 10:45:13 +0000 (16:15 +0530)] 
[HOTFIX] replace apache common log with carbondata log4j

replace apache common log with carbondata log4j

This closes #2999

2 months ago[CARBONDATA-3182] Fixed SDV Testcase failures
manishnalla1994 [Wed, 19 Dec 2018 08:45:17 +0000 (14:15 +0530)] 
[CARBONDATA-3182] Fixed SDV Testcase failures

SDV Testcases were failing because Delimiter and Complex Delimiter was same.
So changed the Complex Delimiter in Load Option.

This closes #3002

2 months ago[CARBONDATA-2999] support read schema from S3
xubo245 [Tue, 20 Nov 2018 07:36:43 +0000 (15:36 +0800)] 
[CARBONDATA-2999] support read schema from S3

This closes #2931