DRILL-8253: Support the limit results in kafka scan (#2580)

* Addressed review comments

Co-authored-by: luoc <luocooong@qq.com>

DRILL-8251: Upgrade Hadoop 2 Due To CVE (#2577)

DRILL-8240: Remove Strings.java and Add Dependency on log4j-api Instead (#2574)

[MINOR UPDATE] Fix Port Clash Issue in HTTP Plugin Tests (#2575)

* try to fix port clash issue in http tests

* fix spelling of 'separate'

issues-2552 revert netty upgrade due to test issues

DRILL-8199: Convert Excel EVF1 to EVF2 (#2569)

* Upgrade Excel format plugin to EVF 2.

* Fix implict column exclusion from wildcard projection in EVF2.

update year in copyright

issues-2552 netty upgrade

DRILL-8248: Fix http_request for several rows (#2573)

DRILL-8245: Project pushdown depends on rules order and might not happen

DRILL-8132: Improvement of RPC (#2464)

Co-authored-by: feiteng.wtf <feiteng.wtf@cainiao.com>

DRILL-8244: HTTP_Request Not Passing Down Config Variables (#2571)

* Initial Commit

* Addressed review comments, removed logging statement

DRILL-8242: Fix output for HttpHelperFunctions (#2568)

* DRILL-8242: Fix output for HttpHelperFunctions

- add test to check the http_get function output

* DRILL-8242: Fix output for HttpHelperFunctions

* DRILL-8242: Fix old approach for other functions

* DRILL-8242: replace String with InputStream for SimpleHTTP requests

* Fix TestHttpPlugin#testSlowResponse. Sometimes DATA_READ ERROR: Read timed out can be returned

DRILL-8243: Move JSON Config Options Out of HTTP Plugin (#2570)

DRILL-8113: Support building with a JDK 8 target using newer JDKs (#2565)

Also upgrades and mostly enables the tests in TestUserBitKerberos*.java.

DRILL-8149: large xlsx configs (#2483)

DRILL-8236: Move HttpHelperFunctions to use JSON2 reader (#2566)

* DRILL-8236: Move HttpHelperFunctions to use JSON2 reader

* DRILL-8236: Move HttpHelperFunctions to use JSON2 reader

Co-authored-by: Charles Givre <cgivre@apache.org>

DRILL-8232: Add support for user credentials to VaultCredentialsProvider (#2558)

* Add support for user credentials to VaultCredentialsProvider.

* Change LOGGER var to lower case.

* Convert VaultCredentialsProvider to AppRole authentication.

BREAKING. VaultCredentialsProvider was previously configured with
a static Vault token in a BOOT option. Now it is configured with a
static AppRole and secret in BOOT options and those are used to obtain
Vault tokens.

* Fox logic and style.

* Satisfy RAT.

DRILL-8237: Limit is not pushed down to scan for MSSQL (#2564)

DRILL-8234: Register rules only from plugins used in the query (#2560)

* DRILL-8234: Register rules only from plugins used in the query

* DRILL-8234: Obtain plugins from query context

DRILL-8223: Change JDK 17 Docker base image from Oracle Linux to Debian. (#2559)

[MINOR UPDATE] Disable TestJdbcPluginWithMSSQL when not on amd64. (#2557)

* [MINOR UPDATE] Disable TestJdbcPluginWithMSSQL when not on amd64.

* Try using DisabledIf... instead of EnabledIf.. at class level.

* Try adding EnabledIf... annotation to static setup and teardown methods.

* Try adding a manual bypass to the @BeforeClass method.

* Try using method-level EnabledIf... annotations.

* Try to disable using os.arch = "aarch_64".

* Try using org.junit.Assume instead of annotations.

DRILL-8230: Upgrade to POI 5.2.2 (#2555)

Revert "Fix imports" and "[MINOR UPDATE] Disable TestJdbcPluginWithMSSQL when not on amd64."

Reverted commits:

 - 012d5ea2056d7caea8f3e008bb39032cafdd1c9f
 - 9c01c03367265375520a7901109d9f900c66aa25

Fix imports.

[MINOR UPDATE] Disable TestJdbcPluginWithMSSQL when not on amd64.

DRILL-8229: Add Parameter to Skip Malformed Records to HTTP UDF (#2553)

* Add Parameter to Skip Malformed Records to HTTP UDF

* Addressed review comments

DRILL-8228: Drill2288GetColumnsMetadataWhenNoRowsTest regression (#2554)

DRILL-8209: Introduce rule for converting join with distinct input to semi-join (#2533)

DRILL-8227: JConnect and jTDS JDBC drivers do not implement Connection::getSchema (#2551)

DRILL-8225: Update LogParser and Yauaa to support User-Agent Client Hints (#2549)

* DRILL-8225: Update LogParser and Yauaa to support User-Agent Client Hints

* DRILL-8225: Replace Caffeine caching with Java 8 compliant solution

* DRILL-8225: Fix dependency issues

* DRILL-8225: Use new API for JDK8 caching

DRILL-8223: Refactor auth modes dropping DRILL_PROCESS and allowing credential providers everywhere (#2547)

* Remove CredentialedStoragePluginConfig and drill_process auth mode.

* Add a unit test of shared_user with no creds based on H2.

* Fix compile errors.

DRILL-8220: Add User Translation Support for OAuth Enabled Plugins (#2544)

DRILL-8200: Update Hadoop libs to ≥ 3.2.3 for CVE-2022-26612 (set hadoop.version) (#2550)

DRILL-8224: Fix TestHttpPlugin#testSlowResponse

DRILL-8214: Replace EnumerableTableScan usage with LogicalTableScan (#2538)

DRILL-8211: Replace deprecated RelNode.getChildExps with Project.getProjects (#2535)

DRILL-8216: Use EVF-based JSON reader for Values operator

DRILL-8218: Add unit tests for StorageResource REST endpoints (#2541)

DRILL-8222: Fix wrong func impl of concat_delim, when null-value exist in middle args (#2546)

DRILL-8219: Handle null catalog names returned by DB2 in storage-jdbc. (#2542)

DRILL-8210: Add substring convertlet

DRILL-8213: Replace deprecated RelNode.getRows with RelNode.estimateRowCount

DRILL-8212: Join queries fail with StackOverflowError (#2536)

DRILL-8215: Remove SecurityContext from PluginConfigWrapper

DRILL-8208: Create builder for SqlSelect (#2532)

DRILL-8207: Fix Username Typo and password @JsonIgnore in JDBC SerDe (#2531)

DRILL-8207: Fix typo in JDBC config (#2530)

[MINOR UPDATE] Update AWS Java SDK to 1.12.211

DRILL-8204: Allow Provided Schema for HTTP Plugin in JSON Mode (#2526)

* Initial commit

* Map working

* WIP

* Added builder

* Lists in maps working

* Add documentation

* Cleaned up UT

* Final Revision

* Fix checkstyle

* Minor tweak

* removed extra test file

* Removed unused import

* Added inline schema support

* Addressed review comments

* Removed unused import

* Removed json string

* Final Revisions

* Fixed unit test

[MINOR UPDATE] Fix default auth mode in AuthMode.parseOrDefault and test the case of JDBC. (#2528)

DRILL-8035: Update Janino to 3.1.7 version

DRILL-8200: Update Hadoop libs to ≥ 3.2.3 for CVE-2022-26612 (#2525)

* Remove pointless Buffer casts.

Compiling Drill with JDK > 8 will still result in ByteBuffer <-> Buffer cast
exceptions at runtime when running on JDK 8 even though maven.target.version
is set to 8. Setting maven.compiler.release to 8 solves the Buffer casts
but raises a compilation error of package sun.security.jgss does not exist
for JDK 8. There were a few handwritten casts to avoid the Buffer casting
issue but many instances are not covered so the few reverted in this commit
achieve nothing.

* Update Hadoop to 3.2.3.

DRILL-8202: Add Options to Skip Malformed JSON Records to HTTP Plugin (#2524)

* DRILL-8202: Add Options to Skip Malformed JSON Records to HTTP Plugin

* Fixed typo

DRILL-8195: Add Timestamp Zone offset ISO-8601 format for JSON EVF

DRILL-8037: Add V2 JSON Format Plugin based on EVF

* Enable store.json.enable_v2_reader by default
* Fix TestJsonReader doulbe quotes test cases. Update jackson 2.12.1 -> 2.13.0
* Disable V2 for experimental UNION datatype
* Fix regressions
* Fix json Schema Provision (it wasn't provided for JsonLoaderBuilder). The previous schema provision was a fake, the reader schema was infered from the json content. It fixes the scan and reader schema validation. And it starts to apply the provided schema to ANALYZE COMMANDS, fixed TestMetastoreWithEasyFormatPlugin#testAnalyzeOnJsonTable

DRILL-6953: Merge row set-based JSON reader

* Snapshot: reworked JSON field parser creation
* Updated JSON loader
* Redo value listener with tokens
* Extended long type works
* More simple extended types
* Added $date
* Binary type
* All extended type except arrays
* Extended arrays partly working
* More arrays work
* Refactor element parser interfaces
* Rename RowSetTests --> RowSetTest
* More factory cleanup
* Revised unknown field creation
* In middle of factory/parser restructuring
* Scalars, object, some variants work again
* JSON loader tests pass
* File cleanup
* Old extended types test passes
* Renamed JSON packages
* Tested extended provided types

DRILL-8155: Introduce New Plugin Authentication Modes (#2516)

* Do not set the read-only hint on JDBC connections.

* Outline of different auth modes in storage-jdbc.

In this commit, a new `authMode` storage config supporting three new auth modes
is defined: shared user (default), user translation (user is translated to some
other user from the external storage) and impersonation (the external storage
and JDBC driver provide support for impersonating the Drill query user).

The JdbcStoragePlugin is enhanced to be able to work with a lookup table of
connection pools, where a pool is dedicated to each query user except when
in shared user auth mode.

Planning and execution time APIs are also enhanced to transmit a user
credentials object for the query user, instead of just its username.
This allows for the expansion of the UserCredentials protobuf type to
include some optional extra credentials, e.g. in an array of byte arrays.
These credentials may be relevant in the user tranlsation mode when a
credential provider must be accessed in order to obtain the creds to be used
for the external system.

* Rebased to current master and build fixes

* Build works, cred stuff added

* Credentials being saved and pushed down to storage plugin

* UI now closing properly

* User Translation working for HTTP plugin

* HTTP unit tests passing

* WIP

* Fixed import

* User Credentials now being stored in credential provider

* Working

* Fixed TPCH Unit Tests

* Fix CredProvider SerDe Test

* Added unit tests for JDBC

* Code cleanup

* Fix LGTM alerts

* Correct username now populating Group Scan

* Username to Subscan

* Remove PerUserUsernamePasswordCredentials class.

* Remove getUserCredentials from CredentialsProvider.

* Planning errors fixed

* Removed unused imports

* Fixed minor issues

* Unit test fixes

* WIP.

* Fix CodeQL Alert

* Ignore LGTM False Positive

* Fix tainted string LGTM alert

* Revert LGTM Comment

* Addressed review comments

* Use fixed size Guava caches in JDBC convetion and dialect factories.

These replace Maps with no size limit that might have grown without
bound. LRU eviction begins when the cache size limit is reached.

* Add a TTL to the JDBC dialect and convention caches.

Co-authored-by: James Turton <james@somecomputer.xyz>

DRILL-8194: Fix the function of REPLACE throws IndexOutOfBoundsException If text's length is more than previously applied (#2522)

DRILL-8013: Drill attempts to push "$SUM0" to JDBC storage plugin for AVG (#2521)

DRILL-8193: Incorrect Annotation used for HttpJsonOptions (#2519)

DRILL-8192: Cassandra queries fail when enabled Mongo plugin (#2518)

DRILL-8191: HTTP Request Function Not Detecting JSON Config (#2517)

DRILL-8174: Convert Avro format to EVF2 (#2511)

* DRILL-8174: Convert Avro format to EVF2

* Addressed review comments

DRILL-8186: Convert XML format to EVF2 (#2512)

DRILL-8187: Dialect factory returns ANSI SQL dialect for BigQuery (#2513)

Fix projection of map arrays and nested maps (#2510)

Fixes the rather complex area in EVF2 that handles
projection of nested maps and map arrays to properly pass
along the offset vector for map arrays, and set the value
count for nested maps.

DRILL-8181: Accept nullable args in HTTP plugin UDFs, fix HikariCP default parm names (#2509)

DRILL-8176: minor issue in previous jackson bom (#2508)

* minor issue in previous jackson bom

* Update pom.xml

DRILL-8177: Bump default TLS version to 1.3 (#2505)

* Bump default TLS version to 1.3. Fix web server log

* Change TLS version in tests. Change value of TLS constants

DRILL-8175: Update Drill release script after 1.20 (#2503)

* Set DRILL_PID_DIR in Dockerfile to writable location for distributed mode.

Some users of the images built from this Dockerfile customise
them so that they launch Drill in distributed mode instead of
embedded mode.  This change saves them from having to set
DRILL_PID_DIR themselves in order to succeed.

* Update release script and instructions after the release of 1.20.

- Add support for specifying a build profile such as "hadoop-2".
- Update instuctions for the Drill web site.
- Update instructions for uploading RCs (no more home.apache)
- Some fixes.

DRILL-8178: Bump AWS Libraries to Latest Version (#2506)

DRILL-8164: Upgrade metadata-extractor because of CVE-2022-24613 (#2493)

* DRILL-8164: Upgrade metadata-extractor because of CVE-2022-24613

* Update the ProfileCopyright tag name

* Update the mov format name

* Add the QuickTime.Rotation tag

* Bump metadata-extractor to 2.17.0

DRILL-8176: Upgrade Jackson Due to CVE-2020-36518 (#2504)

[MINOR UPDATE] Fix the word spelling error (#2502)

[MINOR UPDATE] Add license to CodeQL YAML (#2501)

DRILL-8086: Convert the CSV (AKA "compliant text") reader to EVF V2 (#2485)

* DRILL-8086: Convert the CSV (AKA "compliant text") reader to EVF V2

Also includes:

* DRILL-8159: Convert the HTTPD reader to use EVF V2

* Build fix

* Changes from review comments

* Fix test issue

Update codeql-analysis.yml

Removed cpp from code analysis

Create codeql-analysis.yml

DRILL-8171: Convert SequenceFile to EVF2 (#2498)

DRILL-8165: Upgrade liquibase because of CVE-2022-0839 (#2497)

DRILL-8172: Use the specified memory usage for Travis CI (#2500)

DRILL-8169: Add UDFs to HTTP Plugin to Facilitate Joins (#2496)

* Initial commit

* Unit tests wroking

* Added configs from constants

* Working with Storage plugins

* Removed cache files

* Fixed cache directory

* Updated docs

* Removed unneeded pom.xml modifications

* Addressed Review comments

* Converted holder to VarCharHolder[]

Increment the Drill version number to 2.0.0-SNAPSHOT. (#2490)

DRILL-8168: Do not duplicate attempts to impersonate a user in the REST API (#2495)

DRILL-8167: Add JSON Config Options to Format Config (#2494)

* Initial work'

* Initial commit

* Added unit tests

* Code cleanup and final param

* Fixed Unit Test

* Addressed Review Comments

DRILL-8156: Declare and chown a /data VOLUME in the Drill Dockerfile (#2491)

* Add a mountpoint and VOLUME for local storage to Dockerfile.

* Address review comments concerning layer ordering.

* Fix image size blowup by moving chmod to intermediate container.

* Combine RUN commands in Dockerfile.

DRILL-8162: Add OpenAPI Specification documentation for Drill's REST API (#2489)

* Excluded swagger dependencies to fix enforcer error

* Added swagger core dependencies and swagger version

* Tested adding swagger annotations

* Added external docs in the openAPI Specification/swagger annotations

* Reverted code reformat. Deencoded URLs. Reformatted log messages.

* More format changes.

DRILL-8161: Add Global Credentials to HTTP Storage Plugin (#2486)

* DRILL-8161: Add Global Credentials to HTTP Storage Plugin

* Removed unused import

* Formatting from code review

* Updated README

[MINOR UPDATE] Fix license for Stalebot Config (#2488)

[MINOR UPDATE] Add Stalebot Config (#2487)

DRILL-8145: Fix flaky TestDrillbitResilience#memoryLeaksWhenCancelled test case (#2471)

* Set Brotli codec jar and test to occur only on Linux amd64.

* DRILL-8145: Fix flaky TestDrillbitResilience#memoryLeaksWhenCancelled test case

- changing timeout for TestDrillbitResilience tests
- timing tuning for memoryLeaksWhenCancelled
- update TestContainers version
- -DforkCount=1 for Travis Maven build
- directMemoryMb: 2500 -> 4500 leads to less occasinal test failures

Co-authored-by: James Turton <james@somecomputer.xyz>

DRILL-8154: Upgrade to poi 5.2.1 (#2480)

DRILL-8140: Add JSON Post Body to HTTP Rest Storage Plugin (#2474)

* Initial commit

* Addressed Review Comments

* Updated Docs

* Code cleanup per code review

DRILL-8151: Add support for more ElasticSearch and Cassandra data types (#2477)

DRILL-8153: Convert OAuth REST APIs to JSON #2479

[DRILL-8150] log4j 2.17.2 in format-excel (#2476)

DRILL-8085: EVF V2 support in the "Easy" format plugin (#2419)

DRILL-8148: Add REST Endpoints to Update OAuth Tokens (#2473)

* Initial commit

* Added unit tests

* Fixed unused imports

* Addressed Review comments

* Fixed Link Spelling

Add jackson-bom (#2454)