HAWQ-1760. datalocality information should be showed by default

HAWQ-1758. Add debug info for udf

HAWQ-1756. add comment for struct TargetSegmentIDMap.

HAWQ-2742. add comment for enforce virtual segment number.

HAWQ-1754. add comment for max segment number count for random table.

HAWQ-1753. location number of external table should less than bucketnum of target table

HAWQ-1752. Change .travis

HAWQ-1752. Remove tracked Makefile.global

HAWQ-1751. Fix Travis CI build

HAWQ-1750. Fix link of apr in travis

HAWQ-1749. Add some license and change pom.xml

HAWQ-1748. Idle executors keep exist instead of quit even when gp_vmem_idle_resource_timeout specified timer expires

HAWQ-1747. Change pip downloading

HAWQ-1746. fix make install bug when building hawq rpm

HAWQ-1745. include *.h in storage in contrib's makefile

HAWQ-1744. fix lib jvm not found in docker bug

HAWQ-1743. Fix download link for tomcat 7

HAWQ-1742. include *.h in dbcommon in src's makefile

HAWQ-1740. fix build bug when build in ci

HAWQ-1736.Fix bug timestamp orc select

HAWQ-1739. remove old version protobuf in Dockerfile

HAWQ-1737. set with_orc's default value as yes to build orc automatically

HAWQ-1735. enable orc feature test

HAWQ-1734. Resolve insert issue in external table of orc

HAWQ-1733.Resolve select issue in external table of orc

HAWQ-1732. Make writable table can read

HAWQ-1731. fix orc table create information bug

HAWQ-1728. fix dependency path hard code

HAWQ-1729.fix memory wrong usage

HAWQ-1726. install some necessary software in Dockerfile

HAWQ-1725 install cogapp in Dockerfile

HAWQ-1724. Fix download link for tomcat 7

HAWQ-1722. Fix core dump due to lock is not released before reporting errors when exceeding MaxAORelSegFileStatus

HAWQ-1720. support create table in orc format

HAWQ-1711. Add feature test for ORC format

HAWQ-1713. Disable TestMbConverter.Canonical in hawq

HAWQ-1718. Disable agg function unittest in dbcommon

HAWQ-1719. Reopen unittest in hawq

HAWQ-1717. Fix incorrect seeding for random function

HAWQ-1716. enable feature-test in docker

HAWQ-1712. enable apache hawq build in docker

HAWQ-1714. bump hawq version to 2.5 in pom.xml for Apache HAWQ 2.5.0

HAWQ-1715. bump hawq version to 2.5 in contrib/hawq-ambari-plugin/build.properties for Apache HAWQ 2.5.0

HAWQ-1710. Add ORC reader implement in hawq

HAWQ-1695. Optimize hawq compilation structure

HAWQ-1709. Add ORC reader interface in hawq

HAWQ-1707. install dbcommon,univplan,storage once they are made

HAWQ-1708. Add ORC writer in hawq

HAWQ-1706. enable orc build in makefile

HAWQ-1705. fix orc build bug

HAWQ-1704. Add ORC protocol validators in hawq

HAWQ-1703. delete legacy orc in hawq

HAWQ-1702. modify .ans file in hawq feature-test

HAWQ-1701. enable feature test in apache hawq

HAWQ-1700. fix hawq cannot be build in linux bug

HAWQ-1698. fix univplan cannot be build in linux bug

HAWQ-1699. modify json's path in hawq build

HAWQ-1697. fix bug of window func unsafe push down

HAWQ-1694. fix dbcommon,univplan,storage ut couldn't run issue

HAWQ-1694. enable dbcommon,univplan,storage ut

apache hawq make dbcommon univplan storage

HAWQ-1692. Add the ORC format implementation

HAWQ-1691. Add universal plan used by ORC format

HAWQ-1690. Add common utility used by ORC foramt

HAWQ-1689. Add test for cloud environment support

update hawq help

Signed-off-by: daixiang0 <764524258@qq.com>

HAWQ-1687. Fix travis broken due to missing apr-1-config

HAWQ-1688. Fix apache license header for cloud support

HAWQ-1685. Fix bug in CheckUserExistOnCloud

HAWQ-1684. Add connection close in header for cloud rest

HAWQ-1683. Using DEBUG3 instead INFO log in cloudrest.c

HAWQ-1682. Remove useless log for cloud authentication

HAWQ-1681. Support manage user in cloud

HAWQ-1679. Fix travis failure due to missing apache license information

HAWQ-1679. Remove unnecessary error in hdfsprotocol_validate function

HAWQ-1679. Fix typo of orc in contrib

HAWQ-1678. Add missing header file for libyarn client

HAWQ-1677. Disable orc compilation until it is available

Update PXF README to include profiling info

HAWQ-1674. Add support for compiling CPP projects in orc_format.
add cwrapper.cpp to generate interface code for C/C++ link.
changed Makefile to support cpp compiling.

HAWQ-1671. Add compile support for orc formatter and wrapper
Changed Makefile in contrib/orc
Add folder format and cwrapper for split compilation
Add dummy code for testing the Makefile

HAWQ-1658. Easy Hawq and PXF initialization with docker.

Added new options to build and run HAWQ and PXF in docker.
Check options in contrib/hawq-docker/README.md for details.

HAWQ-1617. Fix function calls from unit tests

Fix calls to 'pxf_free_expression_items_list' from unit tests (the 2nd parameter is always true)
'enrich_trivial_expression' was renamed to 'add_extra_expression_items'. The necessary changes in tests are made by this commit

HAWQ-1605. Support INSERT in PXF JDBC plugin

(closes #1353)

Fix incorrect TIMESTAMP handling

PXF JDBC plugin update

* Add support for INSERT queries:
* The INSERT queries are processed by the same classes as the SELECT queries;
* INSERTs are processed by the JDBC PreparedStatement;
* INSERTs support batching (by means of JDBC);

* Minor changes in WhereSQLBuilder and JdbcPartitionFragmenter:
* Removed 'WHERE 1=1';
* The same pattern of spaces around operators everywhere ('a = b', not 'a=b');
* JdbcPartitionFragmenter.buildFragmenterSql() made static to avoid extra checks of InputData (proposed by @sansanichfb);

* Refactoring and some microoptimizations;

PXF JDBC refactoring

* The README.md is completely rewritten;

* Lots of changes in comments and javadoc comments;

* Code refactoring and minor changes in codestyle

Fixes proposed by @sansanichfb

Add DbProduct for Microsoft SQL Server

Notes on consistency in README and errors

* Add an explicit note on consistency of INSERT queries (it is not guaranteed).

* Change error message on INSERT failure

* Minor corrections of README

The fixes were proposed by @sansanichfb

Improve WhereSQLBuilder

* Add support of TIMESTAMP values;

* Add support of operations <>, LIKE, IS NULL, IS NOT NULL.

Fix proposed by @sansanichfb

Throw an exception when trying to open an already open connection when writing to an external database using `openForWrite()`.

Although the behaviour is different in case of `openForRead()`, it does not apply here. The second call to `openForWrite()` could be made from another thread, and that would result in a race: the `PreparedStatement` we use to write to an external database is the same object for all threads, and the procedure `writeNextObject()` is not `synchronized` (or "protected" some other way).

Simplify logging; BatchUpdateException

Simplify logging so that the logs produced by pxf-jdbc do not grow too big in case DEBUG is enabled (the removed logging calls provide the field types and names, and in most cases they are the same as in the data provided. The exceptions are still being logged).

Add processing of BatchUpdateException, so that the real cause of an exception is returned to the user.

PXF JDBC thread pool support

Implement support of multi-threaded processing of INSERT queries, using a thread pool. To use the feature, set the parameter POOL_SIZE in the LOCATION clause of an external table (<1: Pool size is equal to a number of CPUs available to JVM; =1: Disable thread pool; >1: Use the given size of a pool.

Not all operations are processed by pool threads: pool threads only execute() the queries, but they do not fill the PreparedStatement from OneRow.

Redesign connection pooling

* Redesign connection pooling: move OneRow objects processing to threads from the pool. This decreases the load of a single-thread part of PXF;

* Introduce WriterCallable & related. This significantly simplifies the code of JdbcAccessor and allows to introduce new methods of processing INSERT queries with ease and enables fast hardcode tweaks for the same purpose.

* Add docs on thread pool feature

Support long values in PARTITION clause

Support values of Java primitive type 'long' in PARTITION clause (both for RANGE and INTERVAL variables).

* Modify JdbcPartitionFragmenter (convert all int variables to long)
* Move parsing of INTERVAL values for PARTITION_TYPE "INT" to class constructor (and add a parse exception handler)
* Simplify ByteUtil (remove methods to deal with values of type 'int')
* Update JdbcPartitionFragmenterTest
* Minor changes in comments

Fix pxf-profiles-default.xml

Remove ampersand from a description of JDBC profile from pxf-profiles-default.xml

Remove explicit throws of IllegalArgumentException

Remove explicit references to 'IllegalArgumentException', as the caller is probably unable to recover from them.
'IllegalStateException' is left unchanged, as it is thrown when the caller must perform an action that will resolve the problem ('WriterCallable' is full).

Other runtime exceptions are explicitly listed in function definitions as before; their causes are usually known to the caller, so it could do something about them or at least send a more meaningful message about the error cause to the user.

Proposed by Alex Denissov <adenissov@pivotal.io>

Simplify isCallRequired()

Make function 'isCallRequired()' body a one-line expression in all implementations of 'WriterCallable'.

Proposed by Alex Denissov <adenissov@pivotal.io>

Remove rollback and change BATCH_SIZE logic

Remove calls to 'tryRollback()' and all processing of rollbacks in INSERT queries.
The reason for the change is that rollback is effective for only one case: INSERT is performed from one PXF segment that uses one thread to perform that INSERT, and the external database supports transactions. In most cases, there are more than one PXF segment that performs INSERT, and rollback is of no use then.
On the other hand, rollback logic is cumbersome and notably increases code complexity.

Due to the removal of rollback, there is no longer a need to keep BATCH_SIZE infinite as often as possible (when BATCH_SIZE is infinite, the number of scenarious of rollback() failing is lower (but this number is not zero)).
Thus, setting a recommended (https://docs.oracle.com/cd/E11882_01/java.112/e16548/oraperf.htm#JJDBC28754) value makes sense.
The old logic of infinite batch size also remains active.

Modify README.md: minor corrections, new BATCH_SIZE logic

Proposed by Alex Denissov <adenissov@pivotal.io>

Change BATCH_SIZE logic

* Modify BATCH_SIZE parameter processing according to new proposals https://github.com/apache/hawq/pull/1353#discussion_r214413534
* Update README.md
* Restore fallback to non-batched INSERTs in case the external database (or JDBC connector) does not support batch updates

Proposed by Alex Denissov <adenissov@pivotal.io>
Proposed by Dmitriy Pavlov <pavlovdmst@gmail.com>

Modify processing of BATCH_SIZE parameter

Modify BATCH_SIZE parameter processing according to the proposal https://github.com/apache/hawq/pull/1353#discussion_r215023775:
* Update allowed values of BATCH_SIZE and their meanings
* Introduce explicit flag of presentness of a BATCH_SIZE parameter
* Introduce DEFAULT_BATCH_SIZE constant in JdbcPlugin
* Move processing of BATCH_SIZE values to JdbcAccessor
* Update README.md

Proposed by @divyabhargov, @denalex

Fix column type for columns converted to TEXT

Modify column type processing so that the column type is set correctly for fields that:
* Are represented as columns of type TEXT by GPDBWritable, but whose actual type is different
* Contain NULL value

Before, the column type code was not set correctly for such columns due to a check of NULL field value.

Proposed and authored by @divyabhargov

removed parseUnsignedInt

HAWQ-1647. Update HAWQ version to 2.4.0.0

- Update HAWQ version from 2.3.0.0 to 2.4.0.0.
- Removed incubating/incubator strings from HAWQ versions.

Fix handling of implicit AND expressions

Co-authored-by: Alex Denissov <adenissov@pivotal.io>
Co-authored-by: Shivram Mani <smani@pivotal.io>
Modify 'pxf_make_expression_items_list()' and 'add_extra_and_expression_items()' so that the latter procedure processes the expression list completely, without any interference with 'pxf_make_expression_items_list()'.

This is identical to https://github.com/greenplum-db/gpdb/commit/3ac93fb4259436c87b6c1705bdb05c003ca93423; see also https://github.com/greenplum-db/gpdb/pull/5470.

Fix implicit AND expression addition

Fix implicit addition of extra 'BoolExpr' to a list of expression items.

Before, there was a check that the expression items list did not contain logical operators
(and if it did, no extra implicit AND operators were added).

This behaviour is incorrect. Consider the following query:

SELECT * FROM table_ex WHERE bool1=false AND id1=60003;

Such query will be translated as a list of three items: 'BoolExpr', 'Var' and 'OpExpr'.
Due to the presence of a 'BoolExpr', extra implicit 'BoolExpr' will not be added, and
we get an error "stack is not empty ...".

This commit changes the signatures of some internal functions in pxffilters.c to fix this error.
We pass a number of required extra 'BoolExpr's to 'add_extra_and_expression_items'.

As 'BoolExpr's of different origin may be present in the list of expression items,
the mechanism of freeing the BoolExpr node changes.

The current mechanism of implicit AND expressions addition is suitable only before
OR operators are introduced (in that case, we will have to add ANDs to different parts
of a list, not just the end, as done now).

HAWQ-1629. Add ORC format using pluggable storage framework.

HAWQ-1656. Fix build issues of Bison dependency.

HAWQ-1651. Fix some bugs in bulid and unittest.

HAWQ-1655. Fix doc and makefile issue for hawq-docker

HAWQ-1652. Update PXF keytab path to use PXF_HOME

- Updates `PXF_KEYTAB` path to live inside `${PXF_HOME}/conf` and
  `PXF_PRINCIPAL` to default to gpadmin.
- Fixes nanoseconds to milliseconds conversion in UGICache.

Co-authored-by: Divya Bhargov <dbhargov@pivotal.io>
Co-authored-by: Francisco Guerrero <aguerrero@pivotal.io>

HAWQ-1628. Fix a bug of cassert mode

HAWQ-1628. Add hdfs protocol for pluggable storage framework

HAWQ-1650. Fix compilation issue in Java 7

HAWQ-1644. Make delegation token optional in PXF

Make delegation token property optional for PXF when used against secure
hadoop. Delegation token is a complementary means for authentication
with hadoop along with Kerberos. There is not much value in using the
delegation token with masterless and segment only PXF architecture, as
each pxf jvm will need to establish the token anyway. Simply
authenticating with Keberos should be good enough in such a deployment
mode.

Co-authored-by: Alexander Denissov <adenissov@pivotal.io>
Co-authored-by: Francisco Guerrero <aguerrero@pivotal.io>
Co-authored-by: Shivram Mani <smani@pivotal.io>

HAWQ-1649. Add parallel true and daemon to gradle properties

HAWQ-1645. Use the latest available version of gradle (4.9)

HAWQ-1646. Fixes travis CI issues

(closes #1386)

Revert "HAWQ-1645. Remove autogeneration of version number from pxf/build.gradle"

This reverts commit 67b64bc93031a6ef86b3ac33a732ce02b162d71b.