[maven-release-plugin] prepare release drill-1.7.0

Added Aman's GPG key.

DRILL-4733: max(dir0) reading more columns than necessary

DRILL-2593: 500 error when crc for a query profile is out of sync

DRILL-4716: status.json doesn't work in drill ui

DRILL-4701: Fix log name and missing lines in logs on Web UI

DRILL-3474: Add implicit file columns support

DRILL-2385: Count on complex objects failed with missing function implementation - added MapHolder, ListHolder; - added testCountComplexObjects() unit test.

DRILL-4727: [Addendum] Exclude netty from HBase Client's transitive dependencies

Excluded `netty-all` from the list of transitive dependencies pulled by `mapr-hbase` in `mapr` profile.

DRILL-4725: Improvements to InfoSchema RecordGenerator needed for DRILL-4714

1. Add support for pushing the filter on following fields into InfoSchemaRecordGenerator:
   - CATALOG_NAME
   - COLUMN_NAME

2. Pushdown LIKE with ESCAPE. Add test TestInfoSchemaFilterPushDown#testFilterPushdown_LikeWithEscape

3. Add a method visitCatalog() to InfoSchemaRecordGenerator to decide whether to explore the catalog or not

4. Refactor CATALOG_DESCRIPTION and CATALOG_CONNECT as constant strings in InfoSchemaConstants.java

5. Update TestInfoSchemaFilterPushDown#testPartialFilterPushDownWithProject as
   we are now pushing the filter on COLUMN_NAME field

6. Cleanup:
   Rename RecordGenerator -> InfoSchemaRecordGenerator
   Add comments in RecordGenerator
   Rename SelectedTable -> InfoSchemaTableType

this closes #524

Change-Id: I0b2e16d04cb72fe3ce5961f5f357a00655f1cb05

DRILL-4727: Exclude netty from HBase Client's transitive dependencies

Excluded `netty-all` from the list of transitive dependencies pulled by `hbase-client`

Closes #525.

DRILL-4573: Fixed issue with string functions when input contains non-ASCII characters.

Close apache/drill#512

DRILL-4199: Add Support for HBase 1.X

Highlights of the changes:

* Replaced the old HBase APIs (HBaseAdmin/HTable) with the new HBase 1.1 APIs (Connection/Admin/Table).
* Added HBaseConnectionManager class which which manages the life-cycle of HBase connections inside a Drillbit process.
* Updated HBase dependencies version to 1.1.3 and 1.1.1-mapr-1602-m7-5.1.0 for default and "mapr" profiles respectively.
* Added `commons-logging` dependency in the `provided` scope to allow HBase test cluster to come up for Unit tests.
* Relaxed banned dependency rule for `commons-logging` library for `storage-hbase` module alone, in provided scope only.
* Removed the use of many deprecated APIs throughout the modules code.
* Added some missing test to HBase storage plugin's test suit.
* Move the GuavaPatcher code to main code execution path.
* Log a message if GuavaPatcher fails instead of exiting.

All unit tests are green.

Closes #443

DRILL-4694: CTAS in JSON format produces extraneous NULL fields Changed behavior of JSON CTAS to skip fields if the value is null. Added an option "store.json.writer.skip_null_fields" to enable old behavior.

DRILL-4607: - Fix unittest failure. Janino cannot compile a function that uses generics; so replaced the implementation of StringFunctions.Split to not use any.

DRILL-4607: Add a split function that allows to separate string by a delimiter

This closes #506

DRILL-4693:  Ensure final column re-ordering is done if any select list expression is convert_fromjson.

close apache/drill#508

DRILL-4143: parquet metadata is only opened in drillbituser (process user)'s security context. Adding unit test for impersonated metadata update.

DRILL-4679: When convert() functions are present, ensure that ProjectRecordBatch produces a schema even for empty result set.

Add unit tests

Modify doAlloc() to accept record count parameter (addresses review comment)

DRILL-4676: Foreman no longer uses a CountDownLatch and relies on the EventProcessor instead

as part of this change Foreman.ResponseSendListener no longer calls Foreman.moveToState() as it doesn't make any difference
at this point.

this closes #503

DRILL-4654: Add new metrics to the MetricRegistry

+ New metrics:
  - drill.queries.enqueued
    number of queries that have been submitted to the drillbit but have
    not started
  - drill.queries.running
    number of running queries for which this drillbit is the foreman
  - drill.queries.completed
    number of completed queries (or cancelled or failed) for which this
    drillbit was the foreman
  - drill.fragments.running
    number of query fragments that are running in the drillbit
  - drill.allocator.root.used
    amount of memory used in bytes by the internal memory allocator
  - drill.allocator.root.peak
    peak amount of memory used in bytes by the internal memory allocator
  - fd.usage
    ratio of used to total file descriptors (on *nix systems)
+ Rename "current" to "used" for RPC allocator current memory usage to
  follow convention
+ Borrow SystemPropertyUtil class from Netty
+ Configure DrillMetrics through system properties
+ Remove unused methods and imports

closes #495

DRILL-4657: Rank() will return wrong results if a frame of data is too big (more than 2 batches)

this closes #499

DRILL-4132 Ability to submit simple type of physical plan directly to EndPoint DrillBit for execution. There are multiple changes to achieve this: 1. During physical planning split single plan into multiple based on the number of minor fragments of the Leaf Major fragment. a. Removing exchange operators during planning b. Producing just root fragments (that will be also leaf fragments) 2. Each fragment can be executed against Drillbit it is assigned to, so to keep locality Design document can be found in the JIRA: DRILL-4132

DRILL-4652: Drill native client - fix compile issue when the latest git commit description has a period or quotation mark in it

This closes #494

DRILL-4584: JDBC/ODBC Client IP in Drill audit logs - the format of added field in log files is "remoteAddress":"192.168.121.1:58984"

This closes #475

DRILL-3894: Upgrade functions MaxDir, MinDir... Optional filename parameter - added implementations of functions MAXDIR, IMAXDIR, MINDIR, IMINDIR with one (schema) without filename argument; - added UTest for results comparison of using Query Directory Functions with one and two arguments.

This closes #467

DRILL-2100: Added deleting temporary spill directories when query is finished.

This closes #454

DRILL-4571: Add link to local Drill logs from the web UI

This closes #472

Updated instructions for Linux build of the Drill Native Client

1. CMake 3.0 is required, rather than CMake 2.8
2. Added some info that is helpful for the case where you build Boost the hard way.

This closes #492

DRILL-4577: Construct a specific path for querying all the tables from a hive database

DRILL-4529: Force $SUM0 to be used when Window Sum is supposed to returned non-nullable type

DRILL-4573: Zero copy LIKE, REGEXP_MATCHES, SUBSTR

DRILL-3522: Fix for sporadic Mongo errors

DRILL-4437: Operator unit test framework

Closes #394

DRILL-4442: Move getSV2 and getSV4 methods to VectorAccessible

Up one level from previous location RecordBatch, most implementations
already implement the method as they implement RecordBatch rather than
VectorAccessible itself. Add unsupported operation exception to others.

DRILL-4448: Clean up deserialization of oderings in sorts

Fix sort operator deserialization and validation to respect existing
contract specified in the tests.

DRILL-4445: Standardize the Physical and Logical plan nodes to use Lists instead of arrays for their inputs

Remove some extra translation logic used to move between the
two representations.

TODO - look back the the Join logical node, has two JsonCreator annotations,
but only one will be used. Not sure if the behavior of which is chosen
is considered documented behavior, should just fix it on our end.

DRILL-4237, DRILL-4478: Implement hash to use murmur3 and add correspondent unit tests

+ Avoid object or extra buffer creation
+ Clean up tests

closes #485

DRILL-4459: Resolve SchemaChangeException while querying hive json table

- Replace drill var16char to varchar datatype for hive string datatype
- Change testGenericUDF() and testUDF() to use VarChar instead of Var16Char
- Add unit test for hive GET_JSON_OBJECT UDF

closes #431

DRILL-4390: Uses Resource where Drill favicon is located for static assets

Drill Webserver uses the first jar containing a rest/static directory to
find its static assets. In case of another jar containing this directory, it
might cause the webserver to return 404 errors.

This configures the server to use the resource containing the Drill favicon
as the place to look for all static resources.

this closes #378

DRILL-3714: Avoid cascading disconnection when a single connection is broken.

- Move the coordination id management to be connection level instead of RpcBus level
- Rename CoordinationQueue to a more appropriate name: RequestIdMap
- Simplify locking and memory overhead of RequestIdMap. It used to be that this would accessed by a large number of threads concurrently. We modified the behavior so that it is only accessed by two threads at most. Rather than have memory overhead of ConcurrentHashMap, switch to simple locking approach since contention should be low.
- Update all methods associated with coordination to improve names as well as add javadocs. Move these methods to the RemoteConnection.
- Consolidate the two different close handlers into a single, ordered close handler managed inside the connection.
- Add better javadoc around the close method of RemoteConnection
- Add some preconditions checks.
- Update the HPPC version in the base memory module since it conflicts with the one in the java-exec module.

This closes #463.

DRILL-4593: Remove OldAssignmentCreator in FileSystemPlugin

+ Remove dead code in ParquetGroupScan

this closes #473

DRILL-4446: Support mandatory work assignment to endpoint requirements of operators

DRILL-4592: Explain plan statement should show plan in WebUI

DRILL-4589: Reduce planning time for file system partition pruning by reducing filter evaluation overhead

DRILL-4523: Disallow using loopback address in distributed mode

closes #445

DRILL-4544: Improve error messages for REFRESH TABLE METADATA command
1. Added error message when storage plugin or workspace does not exist
2. Updated error message when refresh metadata is not supported
3. Unit tests

closes #448

DRILL-4588: Enable JMX reporting

closes #469

DRILL-3743: Fail active result listeners if server connection is closed

+ Remove dead code
+ Improve error and logging messages

closes #460

DRILL-4551: Implement new functions (cot, regex_matches, split_part, isdate)

DRILL-4549: Add support for more truncation units in date_trunc function

DRILL-4531: Add a Drill customized rule for pushing filter past aggregate

DRILL-4317: Exceptions on SELECT and CTAS with large CSV files

this closes #432

DRILL-3623: For limit 0 queries, optionally use a shorter execution path when result column types are known

+ "planner.enable_limit0_optimization" option is disabled by default

+ Print plan in PlanTestBase if TEST_QUERY_PRINTING_SILENT is set
+ Fix DrillTestWrapper to verify expected and actual schema
+ Correct the schema of results in TestInbuiltHiveUDFs#testXpath_Double

This closes #405

Bump calcite version to 1.4.0-drill-r11

DRILL-4372: (continued) Support for Window functions:
- CUME_DIST
- DENSE_RANK
- PERCENT_RANK
- RANK
- ROW_NUMBER
- NTILE
- LEAD
- LAG
- FIRST_VALUE
- LAST_VALUE

DRILL-4372: (continued) Add option to disable/enable function output type inference

DRILL-4372: (continued) Type inference for HiveUDFs

DRILL-4372: Expose the functions return type to Drill

- Drill-Calite version update:
This commit needs to have Calcite's patch (CALCITE-1062) to plugin customized SqlOperator.

- FunctionTemplate
Add FunctionArgumentNumber annotation. This annotation element tells if the number of argument(s) is fixed or arbitrary (e.g., String concatenation function).

Due to this modification, there are some minor changes in DrillFuncHolder, DrillFunctionRegistry and FunctionAttributes.

- Checker
Add a new Checker (which Calcite uses to validate the legitimacy of the number of argument(s) for a function) to allow functions with arbitrary arguments to pass Caclite's validation

- Type conversion between Drill and Calcite
DrillConstExector is given a static method getDrillTypeFromCalcite() to convert Calcite types to Drill's.

- Extract function's return type inference
Unlike other functions, Extract function's return type can be determined solely based on the first argument. A logic is added in to allow this inference to happen

- DrillCalcite wrapper:
From the aspects of return type inference and argument type checks, Calcite's mechanism is very different from Drill's. In addition, currently, there is no straightforward way for Drill to plug-in customized mechanisms to Calcite. Thus, wrappers are provided to serve the objective.

Except for the mechanisms of type inference and argument type checks, these wrappers just forward any method calls to the wrapped SqlOpertor, SqlFuncion or SqlAggFunction to respond.

A interface DrillCalciteSqlWrapper is also added for the callers of the three wrappers to get the wrapped objects easier.

Due to these wrappers, UnsupportedOperatorsVisitor is modified in a minor manner.

- Calcite's SqlOpertor, SqlFuncion or SqlAggFunction are wrapped in DrillOperatorTable
Instead of returning Caclite's native SqlOpertor, SqlFuncion or SqlAggFunction, return the wrapped ones to ensure customized behaviors can be adopted.

- Type inference mechanism
This mechanism is used across all SqlOpertor, SqlFuncion or SqlAggFunction. Thus, it is factored out as its own method in TypeInferenceUtils

- Upgrade Drill-Calcite

Bump version number to 1.4.0-drill-test-r16

- Implement two argument version of lpad, rpad

- Implement one argument version of ltrim, rtrim, btrim

DRILL-4501: Complete MapOrListWriter for all supported data types

Closes #427

DRILL-4484: NPE when querying  empty directory

DRILL-4376: Wrong results when doing a count(*) on part of directories with metadata cache

DRILL-4050: Add zip archives to the list of artifacts in verify_release.sh

This enhanced version of the script allows integrated download and verification of a Drill release. It can be used to verify both the main release artifacts and maven repository artifacts.

For example, to verify the 1.6 rc0 release artifacts, I ran

./verify_release.sh https://repository.apache.org/content/repositories/orgapachedrill-1030/ /tmp/drill-1.6/maven/
./verify_release.sh http://home.apache.org/~parthc/drill/releases/1.6.0/rc0/ /tmp/drill-1.6/main/

If I had pre-downloaded the files in the respective folders, I'd run

./verify_release.sh /tmp/drill-1.6/maven/
./verify_release.sh /tmp/drill-1.6/main/

Finally, run with `-nv` option to reduce the verbosity of the output.

Closes #249.

DRILL-3745: Hive CHAR not supported

DRILL-4479: For empty fields under all_text_mode enabled (a) use varchar for the default columns and (b) ensure we create fields corresponding to all columns.

close apache/drill#420

DRILL-4490: Ensure the count generated by ConvertCountToDirectScan is non-nullable

Added Parth's GPG Key

DRILL-4476: Allow UnionAllRecordBatch to manager situations where left input side or both sides come(s) from empty source(s).

close apache/drill#407

Update version to 1.7.0-SNAPSHOT

DRILL-4482: Fix Avro nested field selection regression

Update some of the Avro tests to properly verify their results,
others still need to be fixed. These will be addressed in DRILL-4110.

Closes #419

DRILL-4441: Fix varchar data read out of Avro filtering incorrectly due to metadata bug

The precision of the Varchar datatype was not being set causing inconsistent
truncation of values to the default length of 1. Fixed the same issue with varbinary.

The test framework was previously taking a string as the baseline for a binary value,
which cannot express all possible values. Fixed the test to intstead use a byte array.
Thie required updating the hive tests that were using the old method of specifying
baselines with a String.

Fix cast to varbinary when reading from a data source with schema needed for writing
a test.

Updated patch to remove varchar lengths from table creation.
This issue was fixed more generally by DRILL-4465, which provides a default
type length for varchar and varbinary during the setup of calcite. This update now
just provides tests to verify the fix in this case.

Closes #393

DRILL-4493 - Fixed issues in various POMs with MapR profile
This closes #421

DRILL-4487: add unit test for DRILL-4449

DRILL-4474: Ensure that ConvertCountToDirectScan does not push through project when nullable input of count is not RexInputRef
This closes #416

DRILL-4474: Ensure that ConvertCountToDirectScan only pushes through project when project is trivial.
This closes #406

DRILL-4485 - MapR profile - switch to MapR 5.1.0, and improve compatibility with maprfs storage format and MapR DB storage plugin.
 This closes #417

DRILL-4443: MIN/MAX on VARCHAR throw a NullPointerException

DRILL-4332: Makes vector comparison order stable in test framework

In the test framework, a vector is a map of <String, Object>. When comparing
actual values with baseline, the comparison is made column by column, but
a HashMap key ordering is not guaranteed, and the ordering actually changed
between Java7 and Java8 in Oracle/OpenJDK.

Replacing HashMap with TreeMap which has a guaranteed ordering by design.

Small update by jason during merge, fixed test failure on JDK 7 due to map key ordering,
just replaced two more uses of HashMap with TreeMap.

Closes #389

DRILL-4486: Fix expression serialization escaping

Closes #412

Adding Jason's GPG key

DRILL-4375: Fix the maven release profile

This generated pom file was being discovered and maven was trying to
run the target directory in jdbc-all as a submodule.

This change reverts to the default output location (the module root)
and adds corresponding .gitignore and RAT exclude entries. NOTE:
this is considered bad practice as generated files should appear in
the target directory and be removed upon a maven clean. This default
location is considered to be a known shortcoming of the shade plugin.

Also updated integration test for the jdbc-all jar with small
path change, as changing the location of the dependency-reduced-pom.xml
actually changed the directory the test was being executed from.

Closes #402

DRILL-4483: Fix text plan regression in query profiles

DRILL-4313: C++ Client - Thread safe Logging.  Improved Drill bit selection.
 - Update random drill bit selection. Shuffle the list initially, then round robin. Add Utility methods to get random numbers and to shuffle and add vectors. Whitespace cleanup
 - Add Git properties to build and print to log.
 - Add interface to get error based on query handle.
 - Add support for Pooled connections. Allows switching between pooled and unpooled connections based on environment variables

DRILL-4457: Difference in results returned by window function over BIGINT data

this closes #410

DRILL-4281: Support authorized proxy users to impersonate other users

closes #400

DRILL-4449: Wrong results when metadata cache is used with specific set of queries

close apache/drill#392

DRILL-4467: Fix field ordering issue in PrelUtil

DRILL-4465: Simplify Calcite parsing & planning integration

- Canonicalize Planning phases with PlannerPhase enumeration
- Canonicalize PlannerType transforms
- Remove dependency on Calcite's Frameworks.Planner since Drill need stop heavily customize interactions
- Update AbstractStoragePlugin to implement a phase-aware planning rule injection behavior.
- Avoid (or at least reduce) duplicated registerSchemas() invocations

This closes #401.

DRILL-4354: Remove sessions in anonymous (auth disabled) WebUI access

DRILL-4410: ListVector should initialize bits in allocateNew

Remove large arrays.json files and generate it in /tmp, Check test results
Add another unit test for ListVector in TestValueVector, and use tempDir in TestComplexTypeReader

Closes #380

DRILL-4384: Fix Profile regressions

DRILL-4383: Allow custom configurations to be specified for a FileSystem plugin

add an example s3 plugin, disabled by default

Closes #375

DRILL-4327: Fix rawtypes warnings in drill codebase

Fixing most rawtypes warning issues in drill modules.

Closes #347

DRILL-3488: Allow Java 1.8

DRILL-3688: Drill should honor "skip.header.line.count" and "skip.footer.line.count" attribute of Hive table

1. Functionality to skip header and footer lines while reading Hive data.
2. Unit tests.

DRILL-4346: Handle NumberFormatException when casting empty string to int in hbase/maprdb

- Made replacing of functions casting for nullable input varbinary and var16char types are working (in CastFunctions.java setting 'drill.exec.functions.cast_empty_string_to_null = true' didn't work);
- Added new generated classes for casting varbinary and var16char to int (CastEmptyStringVarTypesToNullableNumeric template and Casts.tdd data);
- Created a test (in TestHBaseQueries.java) for checking an empty string to integer casting in maprdb/hbase table;
- Small design changes according to comments in review (import statements, prefixes ...).

This closes #384

DRILL-3944: Drill MAXDIR Unknown variable or type FILE_SEPARATOR. This
closes #391

DRILL-4434: Deprecate GroupScan.enforceWidth API

DRILL-4423: TestCsvHeader#testEmptyFinalColumn is causing the unit test framework to print 10K rows in Stdout

this closes #387

DRILL-4387: GroupScan or ScanBatchCreator should not use star column in case of skipAll query.

The skipAll query should be handled in RecordReader.