Added docker maven plugin, changed defaults to make it build and run easier

Fixed links to the datasets on S3 (#608)

Bump xercesImpl from 2.8.0 to 2.12.0 in /framework (#607)

Bumps xercesImpl from 2.8.0 to 2.12.0.

Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

DRILL-7713: Baseline changes due to update of Metadata-extractor library (#606)

DRILL-6168: Adjust results for table functions (#605)

Also edits to the README file

Bump zookeeper from 3.4.6 to 3.4.14 in /framework (#604)

Bumps zookeeper from 3.4.6 to 3.4.14.

Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

DRILL-7615: Added tests to verify that decimal columns work correctly with UNION operator (#603)

Also renamed existing tests according to the project naming convention

DRILL-7502: fix baselines (#602)

DRILL-7409: Check if BigInt is read correctly with parquet in diction… (#601)

* DRILL-7409: Check if BigInt is read correctly with parquet in dictionary encoding.

* DRILL-7409: moved test data

DRILL-7418: Fixed baselines due to optimizations (#600)

After DRILL-7418, we don't enumerate files used during direct count optimization, only selection root and number of files are listed.
For Hive selection root is unavailable thus only number of files will be present in plan.

Bump jackson.version from 2.9.9 to 2.10.0 in /framework (#599)

Bumps `jackson.version` from 2.9.9 to 2.10.0.

Updates `jackson-jaxrs-json-provider` from 2.9.9 to 2.10.0

Updates `jackson-core` from 2.9.9 to 2.10.0
- [Release notes](https://github.com/FasterXML/jackson-core/releases)
- [Commits](https://github.com/FasterXML/jackson-core/compare/jackson-core-2.9.9...jackson-core-2.10.0)

Updates `jackson-databind` from 2.9.9 to 2.10.0
- [Release notes](https://github.com/FasterXML/jackson/releases)
- [Commits](https://github.com/FasterXML/jackson/commits)

Updates `jackson-annotations` from 2.9.9 to 2.10.0
- [Release notes](https://github.com/FasterXML/jackson/releases)
- [Commits](https://github.com/FasterXML/jackson/commits)

Signed-off-by: dependabot[bot] <support@github.com>

Specified query columns for a test query. (#598)

DRILL-7096: Fixed baselines due to added support for canonical Map (#597)

Changes in query output:
"map":[{"key":"<some_key>","value":"<some_value>"}] -> {"<some_key>":"<some_value>"}

Test for parseError using WITH and UNION ALL operators (#593)

* Test for parseError using WITH and UNION ALL operators

* Fix use statement in the test.

Testing CRUD for the table schema. (#596)

Added an option for float / double precision that would help to solve precision related test failures (#594)

Fixed baselines due to fixes in DRILL-4517 (#595)

Fixed cases with nulls in arrays, when Drill mistakenly considered some row groups as empty and removed them from scan.

Test for CompileException in VarDecimalHolder class (#592)

'Decimal' and 'prq_union_all' extention folder files refactoring (#591)

DRILL-7200: Baseline updates due to Calcite update (#590)

- After the Calcite update (1.20) a validation was added for duplicate aliases. Fixed by making them unique.
- Fixed plans where literals are now concatenated with type.

Added tests for V3 text reader issues fixes (#589)

Tests:
DRILL_4814_table_function.sql
DRILL_5487_truncated_last_row.sql
DRILL_6952_enable_v3_text_reader_default_value.sql
DRILL_6952_implicit_columns.sql
DRILL_7034_window function.sql

Also:
- Changed tests extension to .sql.
- Aligned the code inside textReadGroup.json.

DRILL-7268: Updated baselines for two Hive parquet files (#588)

DRILL-7292: Updated baselines due to transition to V3 Text Reader (#587)

Now all implicit columns displayed at the end.

Updated baselines due to changes in DRILL-4782 / DRILL-7139 (#583)

Bump jackson.version from 2.8.11 to 2.9.9 in /framework (#586)

Bumps `jackson.version` from 2.8.11 to 2.9.9.

Updates `jackson-jaxrs-json-provider` from 2.8.11 to 2.9.9

Updates `jackson-core` from 2.8.11 to 2.9.9
- [Release notes](https://github.com/FasterXML/jackson-core/releases)
- [Commits](https://github.com/FasterXML/jackson-core/compare/jackson-core-2.8.11...jackson-core-2.9.9)

Updates `jackson-databind` from 2.8.11 to 2.9.9
- [Release notes](https://github.com/FasterXML/jackson/releases)
- [Commits](https://github.com/FasterXML/jackson/commits)

Updates `jackson-annotations` from 2.8.11 to 2.9.9
- [Release notes](https://github.com/FasterXML/jackson/releases)
- [Commits](https://github.com/FasterXML/jackson/commits)

DRILL-6974: Three new tests for 'set' command (#585)

DRILL-7050 - Testing subqueries in the SELECT statement. (#584)

Baseline updates for stats tests (#582)

DRILL-7038: Added tests to verify that scan is not happening when only partition is being selected (#580)

Framework changes and tests for RM queue selection (#571)

* Framework changes and tests for RM queue selection

- Added a new class for RM queue selection tests.
- Added new methods in ConnectionPool to create connections based on user, password, tags and groups.
- Refactored restartDrill out of TestDriver, since it is a utility.
- Create connection with schema, group and queryTags properties.
- Changes in JavaTestBase to get all Drillbits' hostnames.
- Fixed faulty tests in TestSSLProperties

* Cosmetic changes. Add comments for the tests.

* Add package to manage DrillCluster from SSH

- Added classes to manage SSH sessions from a user to a DrillCluster.
- Most of the code is re-used from mapr/ycsb-driver implementations.
- The DrillCluster instance should be used when the test framework has to talk to the cluster for copying files or running certain commands.
- Modified the test cases accordingly.
- Added ThrowingConsumer to support lambda for functions with checked exceptions.

* Cosmetic changes, add javadoc for new utility methods

* Existing TestDriver continue using older method

* Small change, missed synchronized

* Add a method for cleaning up cluster before every test

- Remove any existing RM config in DrillCluster.

* Add cleanup after class as well, other cosmetic changes

* Minor change, add description to testng methods

* Run cleanup once for a class

* Cleanup and add test case for unknown tag

Added the Framework version check before the test runs (#574)

It is useful when analyzing Jenkins test job results

Added a general command line parameter "--jvm" to pass Java options to the test runs and --debug to enable remote debug with default options (#573)

The following examples both enable remote debug during the test run:

./bin/run_tests -s Functional -g functional -d --jvm "-Xdebug -Xnoagent -Xrunjdwp:transport=dt_socket,address=50000,server=y,suspend=y"

./bin/run_tests -s Functional -g functional -d --debug

Disable a stats test case (#578)

Changes for calculating "optimal memory requirement" for RM (#576)

* Changes for calculating "optimal memory requirement" for RM

- Added utilities to get the total memory required per operator
- To get the total memory required by the query
- Get the different operators in the query

* Update unit test to fail in case of exception

Updated the schema name in generation scripts (#577)

DRILL-7063: Update addremove_files.sh (#575)

Trivial fix for regex in stats tests (#572)

 Drill RM configuration changes - Read / Modify / Write configuration (#557)

* Drill RM configuration changes - Read / Modify / Write configuration

Initial code for RM related changes.
- This PR introduces a DrillConfigRenderer interface that should be implemented by an class that represents a Drill configuration and requires the ability to serialize its instance to HOCON format.
- Added DrillRMConfig which represents RM configuration in Java. This can be used read RM config into memory, modify RM config and update the configuration.
- Moved the DrillTestFrameworkUnitTests out of resourcemanagement package.
- Added a sample RM config file to test resources.

* Refactor, cleanup and Unit tests

- Refactored code as a part of cleanup.
- Added unit tests for DrillRMConfig.

TODO:
- Add tests to verify serializer to HOCON

* Add unit tests for DrillRMConfig#render

* Changes to get Drillbit hostnames

- Added utility to get the hostnames on which Drillbits are running on the cluster.
- Added toString to CmdConsOut for better debuggability

* Add utility to apply the RM Config to specified drillbit

* Use TEST_ROOT_DIR instead of CWD

- When running tests from testng, CWD points to rootDir/framework.
- Adding a defualt TEST_ROOT_DIR which always points to root directory.

* Cleanup and add unit tests for the changes.

Tests partitioned files and more query plan verification tests (#570)

Added tests to check Drill queries to the Amazon S3 API via Minio (#566)

MD-5043 Disable s3 storage plugin if Minio is down. Move start_minio script outside of the gen scripts block. (#568)

DRILL-4858: Added tests to verify that repeated_count function can work with repeated lists and maps (#569)

DRILL-7130: Add test for the issue (#567)

- The issue reported in DRILL-7130 can be easily reproduced by having a table with 100 rows and 1 column (of 100 bytes). Add a single row of size < than 100 bytes.
- Query the parquet file.

MD-5043 added tstbucket folder to fix the Minio server (#565)

MD-5043 Added minio server to test S3 API in the drill-test-framework (#554)

Integrate TestNG to enable Java-based test case development & Parse QueryProfile (#551)

* Integrate TestNG with framework

- Add testng dependency to pom and define a new build profile.
- Added a base class for all Java tests.
- Added a sample test class for RM.

* Add support to get and parse query profile

- Update the REST utils used for Http GET.
- Add utilility to build Http GET request.
- Add utility method to convert the Http Response to a String response.
- Add utility that takes in a queryId and returns a QueryProfile object.

* Handle queryId does not exist scenario

- Check for scenario when Http GET request comes back with an error.
- Throw meaningful error if GET request fails.

* Move createConnectionProperties to Utils, create a class for unit tests

- Test Framework also needs unit tests to ensure quality and robustness
- Move static class createConnectionProperties to Utils.java

* Move debugging logs to debug

* Cosmetic changes

* Reverting the CWD fix to enable merging the code.

* Reverting comment

* Rename class to DrillTestNGDefaults

* Implement review comments - reformat code

* Remove unnecessary blank lines

Remove custom logs in CmdConsOut, Add consoleErr for error logs (#561) (#562) (#563)

* Remove custom logs in CmdConsOut

- Changes to remove custom logging from CmdConsOut so that the returned result can be parsed, if needed.
- Corresponding changes in the framework

* Add toString to CmdConsOut for logging

* Capture error messages on stdout as well

- For certain commands, the error messages are thrown on stdout. Change here is to capture messages in stdout and stderr when exitcode is not 0.

* Revert local logging change

* Implement review comments - change field names

* Implement code review comments - trivial change - remove tabs

* Skip output / error when empty

DRILL-6976: Added tests to verify that an empty function result in a subquery no longer throws an exception. (#564)

Statistics: Tests to verify simple query plans (#558)

DRILL-6962: Added tests to verify that coalesce function doesn't throw exception if use it with non-existing columns. (#550)

DRILL-6962: Added handling of the NULL column type in result set as a workaround of DRILL-7084 (#560)

Enable stats tests (#555)

Stats tests passing as mentioned above.

Changes in the pattern of Uncategorized Exception Error (#552)

Rename stats.json to stats.json.fail (#553)

Removing stat tests until it is stable from drill side

Catregorization of Exception Failures (#533)

* Initial changes for the exception JIRA

* Co-Authored-By: kedarbcs16 <kedar.behera@gmail.com>
* Changes to address the comments

Fixes for stats regression failures (#549)

Revert "Revert "Tests for new table stats feature (#537)" (#543)" (#548)

This reverts commit 25679fae87a3ea38186ddc7f6cdb5a89687ea0e7.

Missed enabling a test case for runtime filter (#547)

Enable tests for runtime filter since bugs are resolved. (#546)

Semi Join Testcases (#534)

Cross join Testcases (#535)

Handle map NPE to meaningful IOException (#544)

* MD-5532: Handle map NPE to meaningful IOException

- Handle NullPointerException and throw the right exception with meaningful cause.
- Remove bad formatting in associated methods.

* Reverting re-format changes

Revert "Tests for new table stats feature (#537)" (#543)

This reverts commit c2d92a0bbd2965c37b5a65cfb210824e16638165.

Tests for new table stats feature (#537)

DRILL-6744: Added tests to verify that filter pushdown works with var… (#539)

* DRILL-6744: Added tests to verify that filter pushdown works with varchar and decimal data types

Covered:
- Varchar and decimals with all physical types (int32, int64, fixed_len_byte_array, binary).
- Parquet files version 1.8.1 and 1.10.0.
- Queries with and without metadata files.
- Metadata generated by Drill 1.14.0 and 1.16.0-SNAPSHOT.
- Queries on Hive tables.
Dataset:
- Tables were generated from the TPCH data with scale 0.01 with decimal columns and small row group size.
- External Hive tables.

* DRILL-6744: Addressed the review comments

DRILL-6964: Baseline updates for implementing CREATE / DROP SCHEMA commands (#541)

Baseline update due to changes in DRILL-6910 (#538)

DRILL-1248: Add support for using aliases in group by (#536)

DRILL-6797: Added tests to verify that split function no longer returns an error when result has no rows (#531)

DRILL-3610: Functional tests for TIMESTAMPADD and TIMESTAMPDIFF (#530)

* DRILL-3610: Functional tests for TIMESTAMPADD and TIMESTAMPDIFF functions

- Basic functional tests for TIMESTAMPADD and TIMESTAMPDIFF functions.
- Tests cover different SQL_TSI intervals.

* DRILL 3610: Address review comments, make it self-sufficient

Detect DRILL_VERSION from git.properties (#528)

This would address issues arising out of 4 digit versioning of Drill or any other similar changes (e.g. version...-SNAPSHOT)

Fix failures in JPPD tests (#526)

* Fix plan verification failures due to Semi Join

- In case of nested join scenario, multiple RTFs arrives at scan on probe side. This resulted in plan showing multiple RuntimeFilters. This has been fixed and hence changes are required.

- Semi Join is enable by default and the plan has to factor in the changes.

- Disable Semi Join where Agg is required before Join.

* Disable failing queries with a reference to the bug

DRILL-6865: Added tests to verify the bug fix. (#524)

Cases covered:
1. Filter pruning shouldn't work if at least one filter cannot be pruned ('like' operator or expression on a column).
2. Filter pruning should work in case of single parquet file with single row group.

Fixed baselines due to the renamed option (#525)

exec.return_result_set_for_ddl -> exec.query.return_result_set_for_ddl

Advanced data verification and plan verification tests for RuntimeFilter (#514)

* Advanced data verification and plan verification tests for RuntimeFilter

Runtime filter was added to DRILL as a part of DRILL-6385, DRILL-6731 and DRILL-6792.

This PR contains the following changes

- Data verification tests for broadcast and hash joins with join on different data types.
- Plan verification tests to verify Runtime Filter is applied on probe side scan, wherever applicable.
- The queries are run against TPC-H SF 100 data

* Minor fix, remove tsv header for nested broadcast scenario

* Incorporated review comments

- Changed .q and .q.explain extensions to .sql and .sql.explain.
- Explictly enable / disable broadcast join and set the threshold so that change in default values for these parameters will not affect the tests.
- Round decimals to 3 digits to have more stable test case verification.
- Remove "alter session" to conform with standard for setting / resetting session level parameters.

DRILL-6834: Added tests to verify Drill option exec.return_result_set_for_ddl (#523)

DRILL-6834: Added possibility to run queries that don't return result set. (#521)

An option "exec.return_result_set_for_ddl" was introduced in Drill, when it is false, some queries don't return result set, that cause an SQL exception in Drill Test Framework.
To fix that, Statement execute() method now used instead of executeQuery(). Also added required null checks.

Script change in import table to delete existing table before creating a new one (#522)

DRILL-5796: Added filter pushdown tests for files with multiple row groups. (#519)

Before changes:
```
Functional/filter/pushdown
                  |_data
                  |_plan
                     |_regex
                     |_regex_no_order
```
After changes:
```
Functional/filter/pushdown
                  |_boolean_null
                  |_cast
                  |_complex_fields
                  |_general
                  |_item_star_operator
                  |_multiple_row_groups
                  |_union
```
Details:
* Added new tests to multiple_row_groups folder. They verify that filter pushdown is working for parquet files with more than one row group.
* Moved existing tests to separate folders depending on a feature tested.
* Combined data and plan verifications within single directories.
* Moved schema definitions from the queries to the json files (like dfs.drillTestDir).
* Changed extension of some tests to match the guidelines (*.sql.explain, *.plan)

Removing blank lines in sql scripts (#520)

Removed newlines in gen scripts as Sqlline 1.6.0 handles them incorrectly. (#518)

Set `store.hive.parquet.optimize_scan_with_native_reader` to true to prevent (#500)

some TPCDS tests from failing when using hive reader until HIVE-19069 is fixed.

Baseline updates in Hive Mapr DB json tests. (#516)

Fixed baselines due to changes in DRILL-6744 (#515)

MD-3355: baseline updates for MapR-DB tests (#513)

Fixed failures caused by impersonation. (#512)

Also, a baseline fix is included.

MD-5018: Copy csv to dfs for every run (#511)

* MD-5018: Replace DRILL_5941_lines_count_skip_header_footer_big_data_set.csv every time

- The existing script does not copy `DRILL_5941_lines_count_skip_header_footer_big_data_set.csv` to dfs location if it already exists. It is possible that previous copy did not go through completely and we may have a corrupt data. This could result in tests failing.
- The fix is to copy csv every time.

* MD-5018: Addressing review comments, untar every run

Updating Jackson lib to 2.8.11 (#510)

Do not exit on failure (#508)

Drop tables may fail if tables do not exist, do not exit script on error.

Updating bin/run_tests to ignore MapR minor version mismatch (#507)

Adding support for MapR-FS client as a maven dependency (#506)

DRILL-6624: Adding tests for back-ticks in schema + workspace (#505)

DRILL-6612: Inner join temporary and permanent tables (#503)

DRILL-5188: Added TPC-DS queries that were previously failing due to IllegalArgumentException (#504)

DRILL-6710: baseline updates for decimal type scale enhancements (#501)

MD-4707: Added tests to check that Drill can use JsonTableGroupScan for Hive-MapR DB json tables (#498)

MD-4815: Updated baselines due to changes in DRILL-6492 (#499)

Revert "MD-3579: Compare double values with float precision (#493)" (#496)

This reverts commit cd9acf5bae21e85e360ce5d47a88e6586a727e76.

Added tests for Drill fragments with decimal datatype (#497)

Update plans due to DRILL-6101. (#494)