HAWQ-1647. Update HAWQ version to 2.4.0.0

- Update HAWQ version from 2.3.0.0 to 2.4.0.0.
- Removed incubating/incubator strings from HAWQ versions.

HAWQ-1622. Cache UGI objects and clean them periodically

Co-authored-by: Lav Jain <ljain@pivotal.io>
Co-authored-by: Ben Christel <bchristel@pivotal.io>
Co-authored-by: Alex Denissov <adenissov@pivotal.io>
Co-authored-by: Shivram Mani <smani@pivotal.io>
Co-authored-by: Francisco Guerrero <aguerrero@pivotal.io>
Co-authored-by: Divya Bhargov <dbhargov@pivotal.io>

HAWQ-1636. Fix compile apache hawq failure due to unsupported syntax in libyarn on osx 10.11

HAWQ-1627. Support setting the max protocol message size when talking
with HDFS

HAWQ-1624. Change libhdfs3 to be ABI compatible with libhdfs

HAWQ-1633. Add parameter for maven package hawq-hadoop

HAWQ-1618. Segment panic at workfile_mgr_close_file() when transaction ROLLBACK

HAWQ-1619. Fix Vectorized Execution bugs

HAWQ-1599. Add PXF-Ignite plug-in.

(close #1344)

The PXF-Ignite plug-in allows to read data from Ignite database.
The syntax is similar to one of PXF-JDBC plug-in.

This implementation uses Ignite REST API. It can be easily modified to access any other databases or services via REST API.

This commit does not change `pxf-service` links and classpath files. They should be added manually in order for the PXF-Ignite to work.

See pxf-ignite/README.md for instructions on how to use this plug-in.

PXF Ignite plug-in: Implement write access

This commit adds the support of write operations to the PXF Ignite plug-in.

PXF Ignite plug-in: tests and fixes

PXF Ignite plug-in: fixes proposed by contributors

PXF Ignite plug-in: Fixes proposed by @hornn, @denalex

PXF Ignite plug-in: Fixed nullptr exception and invalid bufferWrite operations

PXF Ignite plug-in: Fixes proposed by @denalex, @sansanichfb

Use 'apache.commons.compress.utils.ByteUtils' instead of a custom 'ByteUtil' library to process fragment metadata;
This also removes the dependence of 'apache.commons.lang.ArrayUtils'.
This fix was proposed by @denalex.

Change signature of the 'buildFragmenterSql()' function in 'IgnitePartitionFragmenter', so that it returns void.
This fix was proposed by @sansanichfb.

PXF Ignite plug-in: minor codestyle improvements

PXF Ignite plug-in: README.md update

PXF Ignite plug-in: Fix handling of TIMESTAMP

Fix handling of TIMESTAMP values with milli- and microseconds

SimpleDateFormat objects are now ThreadLocal (due to safety reasons)

HAWQ-1621. Call FileSystem.closeAllForUGI at the end of request when PXF impersonation is on

Authored-by: Divya Bhargov <dbhargov@pivotal.io>
(close #1374)

HAWQ-1508. fix travis broken

HAWQ-1620. Push down target list information(pi_targetlist in structure ProjectionInfo) to scan when create Bloomfilter structure.

HAWQ-1616. Fix the wrong result of hash join when enable Bloom filter,
           because the projection information of join keys hasn't been pushed down to parquet scan correctly.

HAWQ-1615. Fix accessing invalid memory when run a hash-join query with Bloomfilter enable. The BloomFilter structure in RuntimeFilterState should be allocated, instead of using the address of HashJoinTable's BloomFilter, since it may be released when function FreeScanRuntimefilterState() tries to access it.

HAWQ-1612. Implement vectorized aggregate functions, such as avg/sum/count.

HAWQ-1608. Implement Printing Runtime Filter Information For "explain analyze". Change GUC hawq_hashjoin_bloomfilter to bool.

Updates to PXF Parquet to support S3 eventually

HAWQ-1613. Create Date based Vectorized type and relevant expression

HAWQ-1607. This commit implements applying Bloom filter during Scan outer table.
        1. Pash down Bloom filter structure to outer table scan(only support parquet);
        2. Check if the tuple from outer table is found in Bloom filter structure.
        3. Add a GUC hawq_hashjoin_bloomfilter_sampling_number. This guc value controls the Bloom filter sampling number, while scanning outer table, for first N tuples of the outer table, if the ratio is larger than hawq_hashjoin_bloomfilter_ratio, the remain tuples will not be checked by Bloom filter.
        4. If there is any expression on outer join keys except T_Var(projection), such as, fact.c1 + 1 = dim.c1, or if there are multiple join keys, e.g. fact.c1 = dim.c1 and fact.c2 = dim.c2, Bloomfilter won't be created. Since these two cases involve pushing down expression and project information to scan, which will be implemented later.

HAWQ-1609. Update regression test configuration

HAWQ-1609. Implement Vectorized Motion Node

HAWQ-1611. refactor the vtype in order to advance the performance (by Wang Weinan)

HAWQ-1603. Add new hook API

HAWQ-1606. Fix "make unittest-check" error and set GUC error

HAWQ-1606. This commit implements deciding to create Bloom Filter during query plan and create Bloom filter for inner table, including:

    1. Introduce a GUC, hawq_hashjoin_bloomfilter_max_memory_size, controls the maximum memory size for one bloom filter in hash join.
    2. Introduce a GUC, hawq_hashjoin_bloomfilter_ratio, when the ratio of (the estimated number of hash join tuples)/(number of tuples of outer table) is lower than the GUC, then Bloom filter can be used in hash join.
    3. Decide whether to create Bloom filter during query plan phase.
    4. During query execution phase, create Bloom filter structure and poputlate it for tuples from inner table.

HAWQ-1604. Add A New GUC hawq_hashjoin_bloomfilter to indicate if use Bloom filter for hash join.
Remove gp_hashjoin_bloomfilter and bloom filter in hash join table, this part of legacy codes has been verified that it won't improve hash join performance.

HAWQ-1602. AO table data vectorized scan

HAWQ-1600. Parquet table data vectorized scan

HAWQ-1598. Vectorized Scan Node Framework initialization

HAWQ-1593. Vectorized execution condition check in plan tree

HAWQ-1591. Common tuple batch structure for VecExe

HAWQ-1592. Vectorized data types initialization and relevant functions definition

HAWQ-1594. Memory leak in standby master (gpsyncagent process)

HAWQ-1590. bump hawq version to 2.3 in contrib/hawq-ambari-plugin/build.properties for Apache HAWQ 2.3.0.0-incubating Release

HAWQ-1589. bump hawq version to 2.3 in pom.xml for Apache HAWQ 2.3.0.0-incubating Release

HAWQ-1583. Vectorization execution framework init.

HAWQ-1587. Fix metadata parameters handling in PXF

HAWQ-1036. Implement user impersonation in PXF

(close #1339)

HAWQ-1586. Update version from 2.2.0.0 to 2.3.0.0

HAWQ-1585. Fixed Javadoc generation warnings and errors.

HAWQ-1581. Separate PXF system parameters from user parameters

HAWQ-1584. Propogate bridge endIteration exception during write to client

HAWQ-1557. Concurrent drop should not report error for drop IF EXISTS.

HAWQ-1575. Implemented readable Parquet profile for PXF.

HAWQ-1514. TDE feature makes libhdfs3 require openssl1.1

HAWQ-1527 Added feature to enable partition filtering for integral data types

HAWQ-1582. hawq ssh cmd bug when pipe in cmd

HAWQ-1580. Set PXF port number to 5888 for GPDB

HAWQ-1579. Fix pxf logging issue with null Metadata

HAWQ-1578. Regression Test (Feature->Ranger)Failed

HAWQ-1125. Running pl/python related feature_test cases in parallel

Prior commit: dc14ecbafc368a45cda5806ef7680ffe0825aef1

HAWQ-1573. Clear debug_query_string in proc_exit to avoid crash

Backport following commit from PostgreSQL:
    commit e1eb7c81192bec3735eed3228202b400f31c8010
    Author: Tom Lane <tgl@sss.pgh.pa.us>
    Date:   Sat Mar 20 00:58:21 2010 +0000

Report from Xiaowen Zheng <xiaowen.zxw@alibaba-inc.com>

HAWQ-1566. Include Pluggable Storage Format Framework in External Table Insert

Add the external table insert and copy from(write into external table) related feature here.

HAWQ-1565. Include Pluggable Storage Format Framework in External Table Scan

Rewrite the tuple construct and consume working flow in the external table, which leads to data copy cost.

HAWQ-1572 Fix travis ci build failure. Thrift/Boost incompatibility

HAWQ-1560. Changed log level to DEBUG1 for data locality messages

modified:   src/backend/cdb/cdbdatalocality.c

Removed explicit serde check with HiveLineBreakAccessor

HAWQ-1564. Add Pluggable Storage Dependent Information

The info added are mainly about external URI, block location, file splits and formatter action.

HAWQ-1563. Adapt to run PXF Makefile in /bin/sh

- Since each line of Makefile runs in its own shell, pushd and popd are not necessary
- Also, pushd is not supported in /bin/sh, default shell in Ubuntu

Signed-off-by: Goutam Tadi <gtadi@pivotal.io>

HAWQ-1555. Add access interfaces for protocol and format in pluggable storage framework

HAWQ-1532. test cases on 'Asia' timezone

HAWQ-1532. Fix conflict in Asia timezone

Timezone abbreviation 'IST' is multiply defined in Asia.txt, which
is backported from latest PostgreSQL. In this commit we fix this
issue and add a standard timezone set 'Asia' in OVERRIDE mode.

HAWQ-1532. recognize timezone 'CST' correctly in China

On some platforms, CST (China Standard Time) is used as time string
suffix of GMT+8, especially for users in China. I tracked that change in
Postgres to this commit:

    commit 5b89473d870dc2a9fec0926c5afccf53042dbb0a
    Author: Tom Lane <tgl@sss.pgh.pa.us>
    Date:   Wed Dec 24 16:35:23 2014 -0500

        Add CST (China Standard Time) to our lists of timezone abbreviations.

        For some reason this seems to have been missed when the lists in
        src/timezone/tznames/ were first constructed.  We can't put it in Default
        because of the conflict with US CST, but we should certainly list it among
        the alternative entries in Asia.txt.  (I checked for other oversights, but
        all the other abbreviations that are in current use according to the IANA
        files seem to be accounted for.)  Noted while responding to bug #12326.

Then, we may set timezone_abbreviations = 'Asia' to recognize CST
naturally.

HAWQ-1553 Add option to hawq extract to specify log directory

HAWQ-1368 Add option to hawq register to specify log directory

HAWQ-1559 - Fix travis ci build failure due to missing apr package

HAWQ-1549 Enable standby resync using -M smart/fast/immediate

HAWQ-1544. prompt file count doesn't match hash bucket number when reorganize table

HAWQ-1545. Fix pxf-private.classpath file for Cloudera tarball distro

HAWQ-1496. Add DISCLAIMER, LICENSE and NOTICE files into PXF rpm.

The files will be installed into /opt/pxf-${project.version} directory.

HAWQ-1530. Illegally killing a JDBC select query causes locking problems

HAWQ-1543. Make pxf configurable upon restart through pxf-env

HAWQ-1542. Test fix for JDK 7 for PXF Demo profile test.

HAWQ-1542. PXF Demo profile should support write use case.

HAWQ-1541. Removed pxf configs from webapp

HAWQ-1540. PXF should not accept parameters for init command

HAWQ-1539. Adding metrics-core jar to PXF classpath for HBase

HAWQ-1538. Install internal profiles definition file in conf directory.

HAWQ-1537. Sort files explicitly in PartitionedJsonParserNoSeekTest.

HAWQ-1533. Fix compiler warnings when building PXF code

HAWQ-1535. Link PXF Library during install

HAWQ-1534. Change user to PXF_USER only for HAWQ database.

HAWQ-1531. Templetized PXF user and log directories.

HAWQ-1529. Fix segment resource manager hang when postmaster died.
If PostmasterIsAlive() is under implicit declaration, %eax (32-bits) will be used for comparison rather than %al (8-bits), BUT PostmasterIsAlive() only set the lower 8-bits (because 'bool' is really a 'char'). Then segment resource manager will never exit after postmaster died.

HAWQ-1526. Added support for functions in WHERE clause for PXF tables.

HAWQ-1518. Add a UDF for showing whether the data directory is an encryption zone.

HAWQ-1198. Fix to filter out irrelevant fragments while accessing Hive.

HAWQ-1525. Segmentation fault occurs if reindex database when loading data from Hive to HAWQ using hcatalog

HAWQ-1495 Updated Readme with a note to run tests parallely to avoid answer file mismatch

HAWQ-1520. Create filespace should also skip hdfs trash directory

HAWQ-1504 - Fixed namenode hang during docker container restart

HAWQ-1524 - Fix travis ci build failure after protobuf upgrade to 3.4

HAWQ-1520. gpcheckhdfs should skip hdfs trash directory

HAWQ-1523. Provide ability to bundle PXF artifacts into a single tarball

Update pxf classpath file to make it generic

HAWQ-1458. Fix share input scan bug for writer part.

HAWQ-1510. Add TDE-related functionality into hawq init command

HAWQ-1310. Reformat resource_negotiator().

HAWQ-1498. Segments keep open file descriptors for deleted files

HAWQ-1511. Add TDE-related properties into hdfs-client.xml