DRILL-8225: Update LogParser and Yauaa to support User-Agent Client Hints (#2549)

* DRILL-8225: Update LogParser and Yauaa to support User-Agent Client Hints

* DRILL-8225: Replace Caffeine caching with Java 8 compliant solution

* DRILL-8225: Fix dependency issues

* DRILL-8225: Use new API for JDK8 caching

DRILL-8223: Refactor auth modes dropping DRILL_PROCESS and allowing credential providers everywhere (#2547)

* Remove CredentialedStoragePluginConfig and drill_process auth mode.

* Add a unit test of shared_user with no creds based on H2.

* Fix compile errors.

DRILL-8220: Add User Translation Support for OAuth Enabled Plugins (#2544)

DRILL-8200: Update Hadoop libs to ≥ 3.2.3 for CVE-2022-26612 (set hadoop.version) (#2550)

DRILL-8224: Fix TestHttpPlugin#testSlowResponse

DRILL-8214: Replace EnumerableTableScan usage with LogicalTableScan (#2538)

DRILL-8211: Replace deprecated RelNode.getChildExps with Project.getProjects (#2535)

DRILL-8216: Use EVF-based JSON reader for Values operator

DRILL-8218: Add unit tests for StorageResource REST endpoints (#2541)

DRILL-8222: Fix wrong func impl of concat_delim, when null-value exist in middle args (#2546)

DRILL-8219: Handle null catalog names returned by DB2 in storage-jdbc. (#2542)

DRILL-8210: Add substring convertlet

DRILL-8213: Replace deprecated RelNode.getRows with RelNode.estimateRowCount

DRILL-8212: Join queries fail with StackOverflowError (#2536)

DRILL-8215: Remove SecurityContext from PluginConfigWrapper

DRILL-8208: Create builder for SqlSelect (#2532)

DRILL-8207: Fix Username Typo and password @JsonIgnore in JDBC SerDe (#2531)

DRILL-8207: Fix typo in JDBC config (#2530)

[MINOR UPDATE] Update AWS Java SDK to 1.12.211

DRILL-8204: Allow Provided Schema for HTTP Plugin in JSON Mode (#2526)

* Initial commit

* Map working

* WIP

* Added builder

* Lists in maps working

* Add documentation

* Cleaned up UT

* Final Revision

* Fix checkstyle

* Minor tweak

* removed extra test file

* Removed unused import

* Added inline schema support

* Addressed review comments

* Removed unused import

* Removed json string

* Final Revisions

* Fixed unit test

[MINOR UPDATE] Fix default auth mode in AuthMode.parseOrDefault and test the case of JDBC. (#2528)

DRILL-8035: Update Janino to 3.1.7 version

DRILL-8200: Update Hadoop libs to ≥ 3.2.3 for CVE-2022-26612 (#2525)

* Remove pointless Buffer casts.

Compiling Drill with JDK > 8 will still result in ByteBuffer <-> Buffer cast
exceptions at runtime when running on JDK 8 even though maven.target.version
is set to 8. Setting maven.compiler.release to 8 solves the Buffer casts
but raises a compilation error of package sun.security.jgss does not exist
for JDK 8. There were a few handwritten casts to avoid the Buffer casting
issue but many instances are not covered so the few reverted in this commit
achieve nothing.

* Update Hadoop to 3.2.3.

DRILL-8202: Add Options to Skip Malformed JSON Records to HTTP Plugin (#2524)

* DRILL-8202: Add Options to Skip Malformed JSON Records to HTTP Plugin

* Fixed typo

DRILL-8195: Add Timestamp Zone offset ISO-8601 format for JSON EVF

DRILL-8037: Add V2 JSON Format Plugin based on EVF

* Enable store.json.enable_v2_reader by default
* Fix TestJsonReader doulbe quotes test cases. Update jackson 2.12.1 -> 2.13.0
* Disable V2 for experimental UNION datatype
* Fix regressions
* Fix json Schema Provision (it wasn't provided for JsonLoaderBuilder). The previous schema provision was a fake, the reader schema was infered from the json content. It fixes the scan and reader schema validation. And it starts to apply the provided schema to ANALYZE COMMANDS, fixed TestMetastoreWithEasyFormatPlugin#testAnalyzeOnJsonTable

DRILL-6953: Merge row set-based JSON reader

* Snapshot: reworked JSON field parser creation
* Updated JSON loader
* Redo value listener with tokens
* Extended long type works
* More simple extended types
* Added $date
* Binary type
* All extended type except arrays
* Extended arrays partly working
* More arrays work
* Refactor element parser interfaces
* Rename RowSetTests --> RowSetTest
* More factory cleanup
* Revised unknown field creation
* In middle of factory/parser restructuring
* Scalars, object, some variants work again
* JSON loader tests pass
* File cleanup
* Old extended types test passes
* Renamed JSON packages
* Tested extended provided types

DRILL-8155: Introduce New Plugin Authentication Modes (#2516)

* Do not set the read-only hint on JDBC connections.

* Outline of different auth modes in storage-jdbc.

In this commit, a new `authMode` storage config supporting three new auth modes
is defined: shared user (default), user translation (user is translated to some
other user from the external storage) and impersonation (the external storage
and JDBC driver provide support for impersonating the Drill query user).

The JdbcStoragePlugin is enhanced to be able to work with a lookup table of
connection pools, where a pool is dedicated to each query user except when
in shared user auth mode.

Planning and execution time APIs are also enhanced to transmit a user
credentials object for the query user, instead of just its username.
This allows for the expansion of the UserCredentials protobuf type to
include some optional extra credentials, e.g. in an array of byte arrays.
These credentials may be relevant in the user tranlsation mode when a
credential provider must be accessed in order to obtain the creds to be used
for the external system.

* Rebased to current master and build fixes

* Build works, cred stuff added

* Credentials being saved and pushed down to storage plugin

* UI now closing properly

* User Translation working for HTTP plugin

* HTTP unit tests passing

* WIP

* Fixed import

* User Credentials now being stored in credential provider

* Working

* Fixed TPCH Unit Tests

* Fix CredProvider SerDe Test

* Added unit tests for JDBC

* Code cleanup

* Fix LGTM alerts

* Correct username now populating Group Scan

* Username to Subscan

* Remove PerUserUsernamePasswordCredentials class.

* Remove getUserCredentials from CredentialsProvider.

* Planning errors fixed

* Removed unused imports

* Fixed minor issues

* Unit test fixes

* WIP.

* Fix CodeQL Alert

* Ignore LGTM False Positive

* Fix tainted string LGTM alert

* Revert LGTM Comment

* Addressed review comments

* Use fixed size Guava caches in JDBC convetion and dialect factories.

These replace Maps with no size limit that might have grown without
bound. LRU eviction begins when the cache size limit is reached.

* Add a TTL to the JDBC dialect and convention caches.

Co-authored-by: James Turton <james@somecomputer.xyz>

DRILL-8194: Fix the function of REPLACE throws IndexOutOfBoundsException If text's length is more than previously applied (#2522)

DRILL-8013: Drill attempts to push "$SUM0" to JDBC storage plugin for AVG (#2521)

DRILL-8193: Incorrect Annotation used for HttpJsonOptions (#2519)

DRILL-8192: Cassandra queries fail when enabled Mongo plugin (#2518)

DRILL-8191: HTTP Request Function Not Detecting JSON Config (#2517)

DRILL-8174: Convert Avro format to EVF2 (#2511)

* DRILL-8174: Convert Avro format to EVF2

* Addressed review comments

DRILL-8186: Convert XML format to EVF2 (#2512)

DRILL-8187: Dialect factory returns ANSI SQL dialect for BigQuery (#2513)

Fix projection of map arrays and nested maps (#2510)

Fixes the rather complex area in EVF2 that handles
projection of nested maps and map arrays to properly pass
along the offset vector for map arrays, and set the value
count for nested maps.

DRILL-8181: Accept nullable args in HTTP plugin UDFs, fix HikariCP default parm names (#2509)

DRILL-8176: minor issue in previous jackson bom (#2508)

* minor issue in previous jackson bom

* Update pom.xml

DRILL-8177: Bump default TLS version to 1.3 (#2505)

* Bump default TLS version to 1.3. Fix web server log

* Change TLS version in tests. Change value of TLS constants

DRILL-8175: Update Drill release script after 1.20 (#2503)

* Set DRILL_PID_DIR in Dockerfile to writable location for distributed mode.

Some users of the images built from this Dockerfile customise
them so that they launch Drill in distributed mode instead of
embedded mode.  This change saves them from having to set
DRILL_PID_DIR themselves in order to succeed.

* Update release script and instructions after the release of 1.20.

- Add support for specifying a build profile such as "hadoop-2".
- Update instuctions for the Drill web site.
- Update instructions for uploading RCs (no more home.apache)
- Some fixes.

DRILL-8178: Bump AWS Libraries to Latest Version (#2506)

DRILL-8164: Upgrade metadata-extractor because of CVE-2022-24613 (#2493)

* DRILL-8164: Upgrade metadata-extractor because of CVE-2022-24613

* Update the ProfileCopyright tag name

* Update the mov format name

* Add the QuickTime.Rotation tag

* Bump metadata-extractor to 2.17.0

DRILL-8176: Upgrade Jackson Due to CVE-2020-36518 (#2504)

[MINOR UPDATE] Fix the word spelling error (#2502)

[MINOR UPDATE] Add license to CodeQL YAML (#2501)

DRILL-8086: Convert the CSV (AKA "compliant text") reader to EVF V2 (#2485)

* DRILL-8086: Convert the CSV (AKA "compliant text") reader to EVF V2

Also includes:

* DRILL-8159: Convert the HTTPD reader to use EVF V2

* Build fix

* Changes from review comments

* Fix test issue

Update codeql-analysis.yml

Removed cpp from code analysis

Create codeql-analysis.yml

DRILL-8171: Convert SequenceFile to EVF2 (#2498)

DRILL-8165: Upgrade liquibase because of CVE-2022-0839 (#2497)

DRILL-8172: Use the specified memory usage for Travis CI (#2500)

DRILL-8169: Add UDFs to HTTP Plugin to Facilitate Joins (#2496)

* Initial commit

* Unit tests wroking

* Added configs from constants

* Working with Storage plugins

* Removed cache files

* Fixed cache directory

* Updated docs

* Removed unneeded pom.xml modifications

* Addressed Review comments

* Converted holder to VarCharHolder[]

Increment the Drill version number to 2.0.0-SNAPSHOT. (#2490)

DRILL-8168: Do not duplicate attempts to impersonate a user in the REST API (#2495)

DRILL-8167: Add JSON Config Options to Format Config (#2494)

* Initial work'

* Initial commit

* Added unit tests

* Code cleanup and final param

* Fixed Unit Test

* Addressed Review Comments

DRILL-8156: Declare and chown a /data VOLUME in the Drill Dockerfile (#2491)

* Add a mountpoint and VOLUME for local storage to Dockerfile.

* Address review comments concerning layer ordering.

* Fix image size blowup by moving chmod to intermediate container.

* Combine RUN commands in Dockerfile.

DRILL-8162: Add OpenAPI Specification documentation for Drill's REST API (#2489)

* Excluded swagger dependencies to fix enforcer error

* Added swagger core dependencies and swagger version

* Tested adding swagger annotations

* Added external docs in the openAPI Specification/swagger annotations

* Reverted code reformat. Deencoded URLs. Reformatted log messages.

* More format changes.

DRILL-8161: Add Global Credentials to HTTP Storage Plugin (#2486)

* DRILL-8161: Add Global Credentials to HTTP Storage Plugin

* Removed unused import

* Formatting from code review

* Updated README

[MINOR UPDATE] Fix license for Stalebot Config (#2488)

[MINOR UPDATE] Add Stalebot Config (#2487)

DRILL-8145: Fix flaky TestDrillbitResilience#memoryLeaksWhenCancelled test case (#2471)

* Set Brotli codec jar and test to occur only on Linux amd64.

* DRILL-8145: Fix flaky TestDrillbitResilience#memoryLeaksWhenCancelled test case

- changing timeout for TestDrillbitResilience tests
- timing tuning for memoryLeaksWhenCancelled
- update TestContainers version
- -DforkCount=1 for Travis Maven build
- directMemoryMb: 2500 -> 4500 leads to less occasinal test failures

Co-authored-by: James Turton <james@somecomputer.xyz>

DRILL-8154: Upgrade to poi 5.2.1 (#2480)

DRILL-8140: Add JSON Post Body to HTTP Rest Storage Plugin (#2474)

* Initial commit

* Addressed Review Comments

* Updated Docs

* Code cleanup per code review

DRILL-8151: Add support for more ElasticSearch and Cassandra data types (#2477)

DRILL-8153: Convert OAuth REST APIs to JSON #2479

[DRILL-8150] log4j 2.17.2 in format-excel (#2476)

DRILL-8085: EVF V2 support in the "Easy" format plugin (#2419)

DRILL-8148: Add REST Endpoints to Update OAuth Tokens (#2473)

* Initial commit

* Added unit tests

* Fixed unused imports

* Addressed Review comments

* Fixed Link Spelling

Add jackson-bom (#2454)

SAS Reader fixes (#2472)

Co-authored-by: pseudomo <pseudomo@yandex.ru>

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release drill-1.20.0

DRILL-8144: Cannot launch Drill 1.20 RC 4 on Windows (#2470)

DRILL-8143: Error querying json with $date field (#2469)

 DRILL-8142: SAS Reader Returns NPE #2468

DRILL-8139: Parquet CodecFactory thread safety bug  (#2463)

DRILL-8134: Cannot query Parquet INT96 columns as timestamps (#2460)

* Scale writer index stride to cater for 96-to-64-bit downcasting.

* Remove advanceWriterIndex methods entirely.

* Bump postgresql in storage-jdbc for dependabot alert.

* Fix config opt setting bug in TestParquetWriter.

DRILL-8122: Change kafka metadata obtaining due to KAFKA-5697 (#2456)

DRILL-8137: Prevent reading union inputs after cancellation request (#2462)

DRILL-8131: Infinite planning when JDBC or Phoenix plugin is enabled (#2459)

DRILL-8130: Upgrade Hadoop 2 to 2.10.1 because of CVE-2020-9492 (#2458)

* Upgrade Hadoop 2 to 2.10.1 because of CVE-2020-9492.

* Update JDBC jar size limit for Hadoop 2.10.1.

DRILL-8129: Storage-phoenix cannot resolve OSGi bundle apache-ds.jdbm1 (#2457)

* Add maven-bundle-plugin to storage-phoenix pom for -Phadoop-2.

Also correct the jdbc-all jar size limits, esp. hadoop-2 profile.

* Move storage-phoenix maven-bundle-plugin into hadoop-2 profile.

 DRILL-8126: Ignore OAuth Parameter in Storage Plugin

Set failOnNoFiles = false so that checksum-maven-plugin works on tools-parent.

Revert .travis.yml to 80fa2662.

Fix line continuations in .travis.yml and update NOTICE.

DRILL-8124: Fix implicit file issue with EVF 2 (#2451)

DRILL-8123: Revise scan limit pushdown (#2450)

Add James Turton's PGP key.

DRILL-7994: Dependency version updates for severe vulnerabilities

Postgresql: 42.3.1 -> 42.3.2.

DRILL-7994: Dependency version updates for severe vulnerabilities (#2447)

* Updates deps for dependabot.

* Remove jetty version spec from storage-phoenix pom.

* Revert parallel GC setting.

DRILL-8109: Hive storage plugin support reading parquet timestamp type with int64 logical type (#2431)

DRILL-7994: Dependency version updates for severe vulnerabilities (#2432)

* Sev 8+ vuln dep updates.

* Adjust netty-tcnative version for windows-x86_64.

* Bump Avro because of severe Velocity vulns.

* Adjust expected row count to accommodate t-digest 3.3 improvements.

"The meaning of the compression parameter became a bit more strict in this
latest version. As such, the digest should be a bit smaller and tails
should be a bit more accurate." -- Ted Dunning

* Code comment whitespace formatting.

* Remove cruft from jdbc-all jar.

* Return needed Netty jars to jdbc-all.

* Adjust unit test memory allocs for TestAggregateFunctions.

* Remove references to unused artifact jersey-guava.

* Netty to 2.0.48.

* +200MiB direct memory for the unit test run.

* Upgrade jetty-server and h2 for dependabot.

* Fixes for H2 lib upgrade.

* Work around DOUBLE type DDL syntax error for pg dialect.

* Increase CI heap mem allocation for the sake of JDK 8.

* Specify parallel GC for CI to try to minimise peak mem usage.

* Cast Netty ByteBuffer to Buffer for JDK 8 compat.

* Increase CI heap mem allocation for the sake of TestAggregateFunctions.

DRILL-8111: Remove lombok usage (#2433)

DRILL-8115: Adds LIMIT pushdown support in the scan framework (#2441)

* Adds LIMIT pushdown support in the scan framework

Modifies EVF and the scan framework to enforce LIMIT
pushdown across readers.

* Fix build issues

* Fixes from review comments

DRILL-8056: Add OAuth2 Support for HTTP Rest Plugin (#2401)

* DRILL-8056: Add OAuth2 Support for HTTP Rest Plugin

* Fixed one unit test and removed code from other branch

* Fix UT

* WIP

* Moving to Cred provider

* WIP

* UT working with Cred provider

* Successfully optained tokens

* Ready for review

* Fixed Checkstyle

* Code cleanup

* Updated docs and minor code cleanup

* Moved okhttp3 to test scope

* Fixed pom... again

* Pom fixes

* Added redirect URI to access token request

* Added token type to config

* Doc update

* Updated docs and addressed review comments

* Initial work with persistent store

* 2/3 Unit tests passing

* All unit tests passing

* Code cleanup

* Passing manual tests with Clickup and Salesforce

* Final revisions

* Fix resource leak

* Added Success FTL

* Fix resource leak

* UTs passing

* Addressed Review Comments

* Removed unused import

DRILL-8118: Add Option to Allow Disk Use on Mongo Queries

DRILL-8116: Upgrade Apache Xerces because of CVE-2022-23437 (#2443)

Co-authored-by: kingswanwho <jingchuanhu2017@u.northwestern.edu>

DRILL-8118: Add Option to Allow Disk Use on Mongo Queries (#2442)

* Initial commit

* Update contrib/storage-mongo/src/main/java/org/apache/drill/exec/store/mongo/MongoRecordReader.java

Co-authored-by: luoc <luoc@apache.org>
Co-authored-by: luoc <luoc@apache.org>