[maven-release-plugin] prepare release drill-1.6.0

DRILL-4482: Fix Avro nested field selection regression

Update some of the Avro tests to properly verify their results,
others still need to be fixed. These will be addressed in DRILL-4110.

Closes #419

DRILL-4441: Fix varchar data read out of Avro filtering incorrectly due to metadata bug

The precision of the Varchar datatype was not being set causing inconsistent
truncation of values to the default length of 1. Fixed the same issue with varbinary.

The test framework was previously taking a string as the baseline for a binary value,
which cannot express all possible values. Fixed the test to intstead use a byte array.
Thie required updating the hive tests that were using the old method of specifying
baselines with a String.

Fix cast to varbinary when reading from a data source with schema needed for writing
a test.

Updated patch to remove varchar lengths from table creation.
This issue was fixed more generally by DRILL-4465, which provides a default
type length for varchar and varbinary during the setup of calcite. This update now
just provides tests to verify the fix in this case.

Closes #393

DRILL-4493 - Fixed issues in various POMs with MapR profile
This closes #421

DRILL-4487: add unit test for DRILL-4449

DRILL-4474: Ensure that ConvertCountToDirectScan does not push through project when nullable input of count is not RexInputRef
This closes #416

DRILL-4474: Ensure that ConvertCountToDirectScan only pushes through project when project is trivial.
This closes #406

DRILL-4485 - MapR profile - switch to MapR 5.1.0, and improve compatibility with maprfs storage format and MapR DB storage plugin.
 This closes #417

DRILL-4443: MIN/MAX on VARCHAR throw a NullPointerException

DRILL-4332: Makes vector comparison order stable in test framework

In the test framework, a vector is a map of <String, Object>. When comparing
actual values with baseline, the comparison is made column by column, but
a HashMap key ordering is not guaranteed, and the ordering actually changed
between Java7 and Java8 in Oracle/OpenJDK.

Replacing HashMap with TreeMap which has a guaranteed ordering by design.

Small update by jason during merge, fixed test failure on JDK 7 due to map key ordering,
just replaced two more uses of HashMap with TreeMap.

Closes #389

DRILL-4486: Fix expression serialization escaping

Closes #412

Adding Jason's GPG key

DRILL-4375: Fix the maven release profile

This generated pom file was being discovered and maven was trying to
run the target directory in jdbc-all as a submodule.

This change reverts to the default output location (the module root)
and adds corresponding .gitignore and RAT exclude entries. NOTE:
this is considered bad practice as generated files should appear in
the target directory and be removed upon a maven clean. This default
location is considered to be a known shortcoming of the shade plugin.

Also updated integration test for the jdbc-all jar with small
path change, as changing the location of the dependency-reduced-pom.xml
actually changed the directory the test was being executed from.

Closes #402

DRILL-4483: Fix text plan regression in query profiles

DRILL-4313: C++ Client - Thread safe Logging.  Improved Drill bit selection.
 - Update random drill bit selection. Shuffle the list initially, then round robin. Add Utility methods to get random numbers and to shuffle and add vectors. Whitespace cleanup
 - Add Git properties to build and print to log.
 - Add interface to get error based on query handle.
 - Add support for Pooled connections. Allows switching between pooled and unpooled connections based on environment variables

DRILL-4457: Difference in results returned by window function over BIGINT data

this closes #410

DRILL-4281: Support authorized proxy users to impersonate other users

closes #400

DRILL-4449: Wrong results when metadata cache is used with specific set of queries

close apache/drill#392

DRILL-4467: Fix field ordering issue in PrelUtil

DRILL-4465: Simplify Calcite parsing & planning integration

- Canonicalize Planning phases with PlannerPhase enumeration
- Canonicalize PlannerType transforms
- Remove dependency on Calcite's Frameworks.Planner since Drill need stop heavily customize interactions
- Update AbstractStoragePlugin to implement a phase-aware planning rule injection behavior.
- Avoid (or at least reduce) duplicated registerSchemas() invocations

This closes #401.

DRILL-4354: Remove sessions in anonymous (auth disabled) WebUI access

DRILL-4410: ListVector should initialize bits in allocateNew

Remove large arrays.json files and generate it in /tmp, Check test results
Add another unit test for ListVector in TestValueVector, and use tempDir in TestComplexTypeReader

Closes #380

DRILL-4384: Fix Profile regressions

DRILL-4383: Allow custom configurations to be specified for a FileSystem plugin

add an example s3 plugin, disabled by default

Closes #375

DRILL-4327: Fix rawtypes warnings in drill codebase

Fixing most rawtypes warning issues in drill modules.

Closes #347

DRILL-3488: Allow Java 1.8

DRILL-3688: Drill should honor "skip.header.line.count" and "skip.footer.line.count" attribute of Hive table

1. Functionality to skip header and footer lines while reading Hive data.
2. Unit tests.

DRILL-4346: Handle NumberFormatException when casting empty string to int in hbase/maprdb

- Made replacing of functions casting for nullable input varbinary and var16char types are working (in CastFunctions.java setting 'drill.exec.functions.cast_empty_string_to_null = true' didn't work);
- Added new generated classes for casting varbinary and var16char to int (CastEmptyStringVarTypesToNullableNumeric template and Casts.tdd data);
- Created a test (in TestHBaseQueries.java) for checking an empty string to integer casting in maprdb/hbase table;
- Small design changes according to comments in review (import statements, prefixes ...).

This closes #384

DRILL-3944: Drill MAXDIR Unknown variable or type FILE_SEPARATOR. This
closes #391

DRILL-4434: Deprecate GroupScan.enforceWidth API

DRILL-4423: TestCsvHeader#testEmptyFinalColumn is causing the unit test framework to print 10K rows in Stdout

this closes #387

DRILL-4387: GroupScan or ScanBatchCreator should not use star column in case of skipAll query.

The skipAll query should be handled in RecordReader.

DRILL-4260: Adding support for some custom window frames

this includes the following JIRAs:
DRILL-4261: Add support for RANGE BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING
DRILL-4262: add support for ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW
DRILL-4263: add support for RANGE BETWEEN CURRENT ROW AND CURRENT ROW

this closes #340

DRILL-4287: During initial DrillTable creation don't read the metadata cache file; instead do it during ParquetGroupScan.

Maintain state in FileSelection to keep track of whether certain operations have been done on that selection.

Remove ParquetFileSelection since its only purpose was to carry the metadata cache information which is not needed anymore.

Conflicts:
exec/java-exec/src/main/java/org/apache/drill/exec/planner/FileSystemPartitionDescriptor.java
exec/java-exec/src/main/java/org/apache/drill/exec/store/parquet/ParquetFileSelection.java

Resolve issues after rebasing:

1) JsonIgnore fileSelection in ParquetGroupScan
2) FileSysemPartitionDescriptor change.

Conflicts:
exec/java-exec/src/main/java/org/apache/drill/exec/planner/FileSystemPartitionDescriptor.java

DRILL-4287: Address code review comments and follow-up changes after rebasing:

- In FileSelection: updated call to the Stopwatch, set all flags appropriately in minusDirectories(), modify supportDirPruning()
- In ParquetGroupScan: Simplify directory checking in constructor,  set the parquetTableMetadata field after reading metadata cache.
- Fix unit tests to use an alias for the reserved dir<N> columns as partition-by columns.

More follow-up changes:

 - Get rid of fileSelection attribute in ParquetGroupScan
 - Initialize entries after expanding the selection when metadata cache is used
 - For non-metadata cache, don't do any expansion in the constructor; let init() handle it
 - In FileSystemPartitionDescriptor, the createPartitionSublists is modified to check for parquet scan

When reading from metadata cache , ensure selection root does not contain the scheme and authority prefix.  Minor refactoring.

Address code review comments and fix a bug. Simplify FileSelection state management based on review comment.

close apache/drill#376

Update version to 1.6.0-SNAPSHOT

DRILL-4392: Fix CTAS partition to remove one unnecessary internal field in generated parquet files.

DRILL-4275: create TransientStore for short-lived objects; refactor PersistentStore to introduce pagination mechanism

DRILL-4382: Remove dependency on drill-logical from vector package

DRILL-4363: Row count based pruning for parquet table used in Limit n query.

Modify two existint unit testcase:
1) TestPartitionFilter.testMainQueryFalseCondition(): rowCount pruning applied after false condition is transformed into LIMIT 0
2) TestLimitWithExchanges.testPushLimitPastUnionExchange(): modify the testcase to use Json source, so that it does not mix with PushLimitIntoScanRule.

DRILL-4380: Fix performance regression: in creation of FileSelection in ParquetFormatPlugin to not set files if metadata cache is available. This closes #369

DRILL-4230: Fixing query failures when mongo collection is empty

DRILL-4331: Fix TestFlattenPlanning.testFlattenPlanningAvoidUnnecessaryProject test for Java8

Test TestFlattenPlanning.testFlattenPlanningAvoidUnnecessaryProject fails with Java8
because of Map order differences between Java7 and Java8. Test now checks for both
options.

Closes #351

DRILL-4295: Removes obsolete protobuf-generated files

These files are obsolete protobuf-generated files, whose definition has been
removed.

Cleaning src/main/java files before calling protobuf compiler so that obsolete
files are removed from the directory.

Closes #333

DRILL-4353: Add HttpSessionListener to release resources of expired/invalidated sessions

Closes #359

DRILL-4314: Unit Test Framework can support schema check

Closes #339

DRILL-4225 TestDateFunctions#testToChar fails when the locale is non-English - Changed to use LocalDate, LocalTime and LocalDateTime to build expectedResults instead of string literals

Closes #311

DRILL-4361: Let FileSystemPlugin FormatCreator class be overridable by subclasses

Allow for FileSystemPlugin subclasses to customize FormatPlugin by injecting
their own version of FormatCreator.

This closes #365.

DRILL-4359: Adds equals/hashCode methods to EndpointAffinity

Adds equals/hashCode methods to EndpointAffinity to allow for comparison in
tests.

This closes #363.

DRILL-4358: Fix NPE in UserServer.close()

- Also remove untested CustomSerDe's from CustomTunnel.
- Fix GuavaPatcher copy-paste comment mistake.

closes #362

DRILL-4362: Exclude log4j for hbase dependency under mapr profile

This closes #366

DRILL-4297: Enable custom serializers and deserializers when using CustomTunnel

- Adds support for customer serializers and deserializers
- Adds pre-built serializers and deserializers for Protobuf, Jackson, Protostuff (protobuf) and Protostuff (json)

DRILL-3581: Upgrade to Guava 18.0

- Replace Stopwatch constructors with .createStarted() or .createUnstarted()
- Stop using InputSupplier and Closeables.closeQuietly
- Clean up quiet closes to log or (preferably) propagate.
- Add log4j to enforcer exclusions.
- Update HBaseTestSuite to add patching of Closeables.closeQuietly() and Stopwatch legacy methods. Only needed when running HBaseMiniCluster.
- Remove log4j from HBase's pom to provide exception logging.
- Remove log4j from Hive's shaded pom.
- Update Catastrophic failures to use the same pattern to ensure reporting.
- Update test framework to avoid trying IPv6 resolution. (This removes 90s pause from HBase startup in my tests)

This closes #361.
This closes #157.

DRILL-3581: Upgrade Jackson to version 2.7.1

DRILL-3581: Upgrade HPPC to 0.7.1

DRILL-4323: Handle skipAll query when use HiveDrillNativeParquetScan

Do not add Project when no column is needed to be read out from Scan (e.g., select count(*) from hive.table)

DRILL-4349: parquet reader returns wrong results when reading a nullable column that starts with a large number of nulls (>30k)

DRILL-4235: record new state STARTING when state transitions to STARTING from ENQUEUED

DRILL-4339:  Reverse the function signature change made to AbstractRecordReader.setColumns() in DRILL-4279.

DRILL-4128: Fix NPE when calling getString on a JDBC ResultSet when the type is not varchar

DRILL-4279: Improve performance for skipAll query against Text/JSON/Parquet table.

DRILL-2517: Move directory-based partition pruning to Calcite logical planning phase.

1) Make directory-based pruning rule both work in calcite logical and drill logical planning phase.

2) Only apply directory-based pruning in logical phase when there is no metadata cache.

3) Make FileSelection constructor public, since FileSelection.create() would modify selectionRoot.

DRILL-2517: (Prototype from Mehant) Move directory based partition pruning to logical phase.

DRILL-2517: (Prototype from Adam) Apply directory-based pruning before reading file.

DRILL-4328: Fix backward compatibility regression caused by DRILL-4198

DRILL-4313: CPP client - Improve method to pick random drillbit from a cluster. Update build for protobuf changes. This closes #346

DRILL-4322: Add underlying exception message when IOException causes DROP TABLE failure

This closes #344

DRILL-2653: Improve web UI experience when there is an error in a storage plugin configuration

Fixed success message, made the error messages red

This closes #343

DRILL-4291: Fix Missing classes when trying to query varchar[] using JDBC

- Create a new simplified version of the Hadoop Text class that doesn't include massive dependencies.
- Update Vectors to use new Text class.
- Update the jdbc-all module to have a test which also includes complex types.
- Clean up exclusions in Jdbc jar file to reduce file size.
- Add an enforcer rule that ensures the adbc-all jar exclusions are maintained in the future.

This closes #336.

DRILL-4196 Fix to stop returning no more data when output batch is full during merge.

DRILL-4270: Create a separate WindowFramer that supports the FRAME clause

separate DefaultFrameTemplate into 2 implementations: one that supports custom frames (aggregations, first_value, last_value) and one that doesn't

this closes #322

DRILL-4190 Don't hold on to batches from left side of merge join.

DRILL-4182 Set type to LATE when values are nulls.

DRILL-4182 Take care of null comparisions.

DRILL-4256: Create HiveConf per HiveStoragePlugin and reuse it wherever needed.

Creating new instances of HiveConf() are very costly, we should avoid creating new ones as much as possible.
Also get rid of hiveConfigOverride and use HiveConf in HiveStoregPlugin wherever we need the HiveConf.

DRILL-4288: Removes obsolete protobuf-generated files

This closes #332.

DRILL-4285: Bumps FMPP version to 0.9.15/FreeMarker to 2.3.21

FMPP 0.9.14 pom.xml specifies a version range for FreeMarker dependency,
which should be okay except that latest SNAPSHOT version doesn't resolve
anymore.
FMPP 0.9.15 now uses a fixed stable version (2.3.21).

This closes #330.

DRILL-4246: Fix Allocator concurrency bug and improve error detection

- Rename the internal DrillBuf field to udle to better express its purpose.
- Rename AllocatorManager to AllocationManager to better express its purpose.
- Address situation where dangling ledger could be transferred into while it was being released released by protecting association and release inside the AllocationManager.
- Add allocator assertions to ensure allocator operations are done while the allocator is open.
- Simplify AllocationManager locking model.
- Exclude HDFS reference to netty-all
- Improve debugging messages for allocators (and fix debug message bugs)

This closes #323.

DRILL-4277: Fix for JdbcPrel serialization issue.

This closes #326.

DRILL-4278: Heap memory leak issues

- Fix issue where WorkspaceConfig was not returning consistent hashCode()s for equal objects.
- Fix issue where we were misusing recycler causing object reference leaks

This closes #331.

DRILL-4131: Move RPC allocators under Drill's root allocator & accounting

- Allow settings to be set to ensure RPC reservation and maximums (currently unset by default). Defaults set in drill-module.conf
- Add new metrics to report RPC layer memory consumption.
- Check for memory leaks from RPC layer at shutdown.
- Add a multi-Drillbit single JVM safe DrillMetrics.register()
- Remove invalid verifyAllocator checks while RPC connection (and PING/PONG) are maintained

This closes #327.

DRILL-3845: UnorderedReceiver shouldn't terminate until it receives a final batch

MergingRecordBatch doesn't wait for last batch when it's an early termination

this closes #319

DRILL-3201: Support security for access through Web UI

DRILL-4241: Add Single Tablet Writer

- Also move to a test bootstrap
- Update to the latest kudu and Drill
- Add plugin to Drill distribution
- Checkstyle and directory cleanup

This closes #314.

DRILL-4241: Timestamps should divide by 1000 in reader

DRILL-4241: Add wait stats and estimated row count in RecordReader

DRILL-4241: Rewrite RecordReader to support NULLs and be less Java-like

DRILL-4241: Create table with multiple tablets in kudu test.

DRILL-4241: Add parallelization and assignment

DRILL-4241: Improve record reader and type mappings

DRILL-4241: Add table metadata and DROP table support

DRILL-4241: Add pushdown of column projections

DRILL-4241: Various Type Fixes

DRILL-4241: Fixing the build, make RAT and checkstyle happy.

DRILL-4241: initial commit

DRILL-4257: Fix StoragePluginRegistry clean-up behavior and misc clean up.

- Create the storage plugin registry using a Drill configuration parameter to be able to replace the registry implementation.
- Change StoragePluginRegistry into an interface and move the implementation to an impl class.
- Write documentation for StoragePluginRegistry.
- Make StoragePluginRegistry and StoragePluginMap AutoCloseable and ensure that Drillbit closes registry.
- Misc Drillbit code reorganization so that fields are at top of class (and static methods at bottom).
- Update DrillConfig to support reflection-based creation of storage plugin objects
- Remove final from DrillConfig so that application developers can extend config object.

This closes #321.

DRILL-4238: Add a custom RPC interface on the Control channel for extensible communication between bits.

This closes #313.

Fix issue where FutureBitComment didn't return buffer as part of future.

DRILL-4174: fix for DRILL-4081 mistakenly regresses the fix for DRILL-3786

DRILL-4250: Fix directory-based partition pruning when directory has both subdirectory and file.

DRILL-4236: ExternalSort should use the new allocator functionality to better manage it's memory usage

this closes #317