HAWQ-1343. - Install pip and minor formatting change.

HAWQ-1344. Rollback Apache HAWQ version to 2.1, update PXF to 3.2

HAWQ-1322. Changed RPS RPM name to hawq-ranger-plugin_<version>

(closes #1131)

HAWQ-1134. Add Bigtop layout specific pxf-private classpath

HAWQ-1134. Add Bigtop layout specific pxf-private classpath

This closes #993 PR.

HAWQ-1340. Remove unused file - tools/bin/disqual.ksh

This closes #339 PR.

HAWQ-1330. More ASF header updates (including pom.xml update)

HAWQ-1336. Travis CI "brew" updates

* Display brew version.
* Display installed brew components and version after brew update.
* Perform "reinstall" instead of "install" to avoid pre-existing
  component version errors.
* Display installed brew components and version after brew work is
  complete.

HAWQ-1325. Allow queries related to pg_temp if ranger is enable

HAWQ-1338. Fixed writer process doesn't exit nicely in some case

Signed-off-by: Ivan Weng <iweng@apache.org>

HAWQ-1334. QD thread should set error code if failing so that the main process for the query could exit soon

HAWQ-1331. Update hawq version in pom.xml

HAWQ-1331. Update hawq and pxf versions

HAWQ-1315. Function validateResourcePoolStatus() in resourcepool.c is logging the wrong information

HAWQ-1314. Added upgrade for function pxf_get_item_fields.

HAWQ-1323. Fix access mode of files in adding license header added to each source file in test directory

HAWQ-1326. Cancel the query earlier if one of the segments for the query crashes

HAWQ-1329. pg_catalog view fallback failed.

HAWQ-1323. Add license header added to each source file in test directory

HAWQ-1327. Move ID from struct SegStatData to struct SegInfoData so that ID could be used in QD.

This also fixes some warnings and some minor bugs which are found during warning fixing.

HAWQ-1324. Fixed crash at query cancel, signal hanler cannot call unsafe elog()

HAWQ-1321. failNames wrongly uses memory context to build message when ANALYZE failed

HAWQ-1320. Remove reference to PXF rpm version in source

HAWQ-1319. Add ASF header to java files and remove jar files in function suite

HAWQ-1318. Fix the bug of cannot start/stop master successfully if ranger is enable and with a wrong RPS address

HAWQ-1298. Updated RPS properties and scripts
(closes #1109)

HAWQ-1317. Port "Fix some regex issues with out-of-range characters and large char ranges" from pg

HAWQ-1312. Forbid partial grant/revoke command in HAWQ side once Ranger is configured.

HAWQ-1316. Fix feature test build on CentOS 7.3

HAWQ-1292. Change GUC enable_ranger(bool) to a text GUC(hawq_acl_type), which can allow other kinds of ACL.

HAWQ-1308. Fixed Javadoc warnings.

HAWQ-1309. Use default value for pxf user/port

HAWQ-1306. Removed links in Javadoc referencing pxf-service from pxf-api.

HAWQ-1297. Fixed pxf classpath to work with custom hadoop distros

HAWQ-1228. Use profile based on file format in HCatalog integration(HiveRC, HiveText profiles).

HAWQ-1297. Make PXF install ready from source

HAWQ-1294. Removed ALL privilege from HAWQ Ranger definition

(closes #1101)

HAWQ-1281. Refactored RPS integration tests

(closes #1100)

HAWQ-1291. Fix the name of privilege when create temp table.

HAWQ-1285. resource manager outputs uninitialized string as host name

HAWQ-1286. Reduce unnecessary calls of namespace check when run \d

HAWQ-1193. Add createEncryption, getEZForPath, listEncryptionZones RPC for libhdfs3.

HAWQ-1282. Shared Input Scan may result in endless loop.

HAWQ-1276. hawq should error out directly when ranger plugin service is unavailable, not a warning.

HAWQ-1279. Force to recompute namespace_path when enable_ranger

HAWQ-762. Login to kerberos if credentials are no longer valid

HAWQ-1203. Ranger Plugin Service Implementation. (with contributions by Lav Jain and Leslie Chang)
(close #1092)

HAWQ-1276. The error message is not friendly when ranger plugin service is unavailable.

HAWQ-1277. Fix build problem on CentOS 7, with --with-plperl.

See earlier discussion on this on pgsql-hackers, message-id
9B946296-A2EB-4B45-A190-153F06662F8B@kineticode.com. We'd get this fix
eventually as we merge with later PostgreSQL versions, but let's make life
easier for people hitting this issue now.

This is a backpatch of the following upstream commit, sans the MSVC build
parts, as I have no environment to test that and we don't support Windows
anyway. We'll get the MSVC parts later, as we merge.

commit ba00ab0b111a0cbbac612e8ea8b0d5f96534102e
Author: Andrew Dunstan <andrew@dunslane.net>
Date:   Sat Nov 26 15:22:32 2011 -0500

    Use the preferred version of xsubpp, not necessarily the one that came with the
    distro version of perl.

    David Wheeler and Alex Hunsaker.

    Backpatch to 9.1 where it applies cleanly. A simple workaround is available for earlier
    branches, and further effort doesn't seem warranted.

HAWQ-1248. Merge Dockerfiles for HAWQ Dev into HAWQ code base

HAWQ-1243. Add suffix name for ranger restful service.

HAWQ-1275. Check build-in catalogs, tables and functions in native aclcheck.

HAWQ-1274. Add apache rat check in travis CI.

Revert "HAWQ-1248. Merge Dockerfiles for HAWQ Dev into HAWQ code base."

This reverts commit 440ce595a2298ac9be16973f0c7c4c358ddb2cd0.

Reason for revert: RAT check fail with unapproved license in some of the files added

HAWQ-1248. Merge Dockerfiles for HAWQ Dev into HAWQ code base.

HAWQ-1268. Update pom.xml to reflect the correct version for apache hawq 2.1.0.0-incubating

HAWQ-1267. Update NOTICE file to reflect the right year for copyright

HAWQ-1257. Prompt all tables which user doesn't have right once

HAWQ-1215. Support Complextypes with HiveORC

HAWQ-1256. non-superuser connect to db will do aclcheck through ranger and curl handle haven't been initialized.

HAWQ-1258. Segment resource manager does not switch back when it cannot resolve standby host name

HAWQ-1256. Enhance libcurl connection to Ranger Plugin Service, keep it as a long-live connection in session level

HAWQ-1249. Don't do ACL checks on segments

HAWQ-1242. hawq-site.xml default content has wrong guc variable names

HAWQ-1246. Add generation of RequestID, ClientIP, queryContext(SQL Statement) and encapsulate these contents to JSON request to RPS.

Revert "HAWQ-1242. hawq-site.xml default content has wrong guc variable names"

This reverts commit 61646cd55fddb4ef3feafe9fd125763796d518c0.

HAWQ-1242. hawq-site.xml default content has wrong guc variable names

HAWQ-1240. Fix bug of plan refinement for cursor operation

HAWQ-1239. Fail to call pg_rangercheck_batch() when when 'rte->rtekind != RTE_RELATION' or 'requiredPerms == 0'

HAWQ-1237. Modify hard code 'select' privilege in create_ranger_request_json_batch() in rangerrest.c

HAWQ-1243. Add suffix name for ranger restful service.

HAWQ-1241. No need of ext/python in *PATH in file greenplum_path.sh

Also remove the Solaris branch code since we do not support Solaris.

HAWQ-1179. Call Bridge api with profile value read from Fragmenter call.

HAWQ-1178. Enhance Fragmenter api to return profile name.

HAWQ-1208. Porting gpdb interconnect fix to hawq

This commit includes below commits in gpdb:
------------------------------------------
commit ce9cf07073946644b9dbc9a2fa0c1ca1179c57ee
Author: xiongg1 <gxiong@pivotal.io>
Date:   Wed Jun 10 19:31:05 2015 -0400

    [JIRA: MPP-25589] interconnect timeout bug

commit 615934aa7cf87eab9b258cb56eae7766aabab979
Author: tangp4 <ptang@pivotal.io>
Date:   Tue Jul 7 22:00:24 2015 -0400

    [JIRA: MPP-25497] Fix the coverity defect CIDs: 16672

commit ae75ad81020533e0acc69daba086581dbca68ed2
Author: TangPengzhou <ptang@pivotal.io>
Date:   Thu May 21 17:36:30 2015 +0800

    [JIRA: MPP-25497]  Shutdown interconnect thread before shmem_exit()

    Sometimes, if a FATAL level error occurs, shmem_exit() freed contexts that
    still being accessed by ic thread, this cause a segment fault unexpectedly.

commit 2d7d0735f5b862d62a84d446f6dd2ce44b0df250
Author: Gang Xiong <gxiong@pivotal.io>
Date:   Sun Jan 3 13:37:34 2016 -0500

    [JIRA:MPP-26123] Handle corner case of interconnect ack packet

    When the ack packet is resent with UDPIC_FLAGS_STOP set, we need to make
    sure the sender is aware of that. Otherwise, the sender will hang there
    forever.

commit ad8328423661cb64e7b905df4928e48d532653b9
Author: Heikki Linnakangas <hlinnakangas@pivotal.io>
Date:   Sun Aug 30 00:11:17 2015 +0300

    [MPP-25631] Remove unnecessary #includes.

    No particular urgency to clean up just these, just something that caught my
    eye while browsing the code.

commit 65809c0bf53a665a16e467331ea6e7d65aee54c6
Author: xiongg1 <gxiong@pivotal.io>
Date:   Mon Jun 15 19:36:55 2015 -0400

    [JIRA: MPP-25590] Wrong error message when socket is exhausted on master

commit a343ed5bfd992b10137ad232f241be72857d6ea2
Author: gpadmin <gpadmin@g187>
Date:   Thu Oct 27 18:58:54 2016 +0000

    Add GUC called gp_interconnect_tcp_listener_backlog for tcp interconnect to control the backlog param of listen call

commit eda343b5050e31764154698f25e88d6f3fa7e957
Author: Kenan Yao <kyao@pivotal.io>
Date:   Tue Oct 25 16:10:05 2016 +0800

    Fix a bug in function destroyConnHashTable which frees a wrong pointer and
    should cause SIGSEGV.

Signed-off-by: Pengzhou Tang <ptang@pivotal.io>
commit 616f3c8f0ea372e01d166f4a6c52c6075a74ecd3
Author: Pengzhou Tang <ptang@pivotal.io>
Date:   Tue Apr 5 10:50:55 2016 +0800

    Fix coverity issue for 7e8f391dfdd

commit 7e8f391dfdd8945573d8b621533626813f8f7684
Author: tangpengzhou <ptang@pivotal.io>
Date:   Mon Mar 28 23:47:48 2016 +0000

    Fix tcp socket/port leak when interconnect type is udp or udpifc

    Since gpdb don't allow changing interconnect type after connection started, it's unnecessary to
    allocate a tcp socket and port for hot switching from udp/udpifc to tcp.

commit 7e8f391dfdd8945573d8b621533626813f8f7684
Author: tangpengzhou <ptang@pivotal.io>
Date:   Mon Mar 28 23:47:48 2016 +0000

    Fix tcp socket/port leak when interconnect type is udp or udpifc

    Since gpdb don't allow changing interconnect type after connection started, it's unnecessary to
    allocate a tcp socket and port for hot switching from udp/udpifc to tcp.

commit 8ec73f12c997777cae321c301a079f2cae2914fc
Author: Pengzhou Tang <ptang@pivotal.io>
Date:   Thu Mar 3 15:36:06 2016 +0800

    Fix incorrect EOS warning message generated by direct-dispatch type queries

    QD should not expect end-of-stream comes from QEs who is not members of
    direct dispatch and should not report warning message.

commit 21973ab2282701eff45f9b9448525da266843ca4
Author: Pengzhou Tang <ptang@pivotal.io>
Date:   Thu Mar 24 16:16:11 2016 +0800

    Fix ic thread waiting error in utility mode

    Interconnect thread is not created in utility mode, ic_rx_thread_created is initialized to true which
    cause WaitInterconnectQuitUDP() to wait a non-existent ic thread.

commit ba4b8ab4bce0cb62e7b1d3124012a20849434d81
Author: xiong-gang <gxiong@pivotal.io>
Date:   Fri Nov 18 17:10:41 2016 +0800

    Correct 'extraSeq' in ack packet after stop is requested

    If the ack packet in doSendStopMessageUDPIFC() is lost, QE will keep sending status packet,
    and QD will ack it in handleDataPacket(). We need make sure the 'extraSeq' is equal to 'seq'
    in the ack packet so that QE can update the capacity. Or else, QE will hang for ever.

[HAWQ-1232] Update versions strings for 2.1.0.0-incubating release.

This included adding 2.1.json (copied from 2.0.json).

Revert "HAWQ-1179. Call Bridge api with profile value read from Fragmenter call."

Revert "HAWQ-1178. Enhance Fragmenter api to return profile name."

HAWQ-1179. Call Bridge api with profile value read from Fragmenter call.

HAWQ-1178. Enhance Fragmenter api to return profile name.

HAWQ-1230. Introduce macro __MAYBE_UNUSED to surpress unused funtion/variable kind of warnings.

HAWQ-1226. fix compile error under gcc 4.8.2

HAWQ-1229. Remove verbose help message in hawq config

HAWQ-1226. HAWQ core dump due to enable ranger while RPS is down

HAWQ-1227. Fix hawq init fails when user name with a capital.

HAWQ-1221. Add register test case verify bug fix YamlFileNotExist and NonDefaultBucketnum check.

HAWQ-1001. Bugfix and light refactor ranger logic.

 HAWQ-870. Allocate target's tuple table slot in PortalHeapMemory during split partition

 merge GPDB split-partiton optimization

 Origin GPDB PR:
 greenplum-db/gpdb#866

HAWQ-1001. Implement HAWQ basic user ACL check through Ranger.

HAWQ-1002. Implement configuration GUC related to Ranger.

HAWQ-1004. Implement calling Ranger REST Service using libcurl for privilege check.

HAWQ-1214. Remove resource_parameters

HAWQ-1221. hawq register should error out when register a yml file doesn't exist

HAWQ-1044. Fix bugs in test case TestHawqRegister.TestUsage2Case2IncludeDirectory

HAWQ-1140. move hawq register test to parallel schedule

HAWQ-1044. Fix bugs in testcase TestHawqRegister.TestUsage2Case1IncludeDirectory

HAWQ-1140. Parallelize test cases for hawqregister usage2.

HAWQ-1195. Support Two or more external tables use the same error table

In this case, we should assign a new sets of seg files for INSERT INTO ERROR TABLE.

Revert "HAWQ-1195. Fixed error "Two or more external tables use the same error table ""

This reverts commit fad1b90505b3112d480cf1635f16edd8a957cc85.
Because regression test failed.

HAWQ-1213. Incorrect check of hawqregister in case of randomly distributed table with non-default `default_hash_table_bucket_number` value.