HAWQ-1297. Fixed PXF restart

HAWQ-1297. CR Fixes

HAWQ-1297. Update PXF build and service scripts to make it installable from source code

HAWQ-1281. Refactored RPS integration tests

(closes #1100)

HAWQ-1291. Fix the name of privilege when create temp table.

HAWQ-1285. resource manager outputs uninitialized string as host name

HAWQ-1286. Reduce unnecessary calls of namespace check when run \d

HAWQ-1193. Add createEncryption, getEZForPath, listEncryptionZones RPC for libhdfs3.

HAWQ-1282. Shared Input Scan may result in endless loop.

HAWQ-1276. hawq should error out directly when ranger plugin service is unavailable, not a warning.

HAWQ-1279. Force to recompute namespace_path when enable_ranger

HAWQ-762. Login to kerberos if credentials are no longer valid

HAWQ-1203. Ranger Plugin Service Implementation. (with contributions by Lav Jain and Leslie Chang)
(close #1092)

HAWQ-1276. The error message is not friendly when ranger plugin service is unavailable.

HAWQ-1277. Fix build problem on CentOS 7, with --with-plperl.

See earlier discussion on this on pgsql-hackers, message-id
9B946296-A2EB-4B45-A190-153F06662F8B@kineticode.com. We'd get this fix
eventually as we merge with later PostgreSQL versions, but let's make life
easier for people hitting this issue now.

This is a backpatch of the following upstream commit, sans the MSVC build
parts, as I have no environment to test that and we don't support Windows
anyway. We'll get the MSVC parts later, as we merge.

commit ba00ab0b111a0cbbac612e8ea8b0d5f96534102e
Author: Andrew Dunstan <andrew@dunslane.net>
Date:   Sat Nov 26 15:22:32 2011 -0500

    Use the preferred version of xsubpp, not necessarily the one that came with the
    distro version of perl.

    David Wheeler and Alex Hunsaker.

    Backpatch to 9.1 where it applies cleanly. A simple workaround is available for earlier
    branches, and further effort doesn't seem warranted.

HAWQ-1248. Merge Dockerfiles for HAWQ Dev into HAWQ code base

HAWQ-1243. Add suffix name for ranger restful service.

HAWQ-1275. Check build-in catalogs, tables and functions in native aclcheck.

HAWQ-1274. Add apache rat check in travis CI.

Revert "HAWQ-1248. Merge Dockerfiles for HAWQ Dev into HAWQ code base."

This reverts commit 440ce595a2298ac9be16973f0c7c4c358ddb2cd0.

Reason for revert: RAT check fail with unapproved license in some of the files added

HAWQ-1248. Merge Dockerfiles for HAWQ Dev into HAWQ code base.

HAWQ-1268. Update pom.xml to reflect the correct version for apache hawq 2.1.0.0-incubating

HAWQ-1267. Update NOTICE file to reflect the right year for copyright

HAWQ-1257. Prompt all tables which user doesn't have right once

HAWQ-1215. Support Complextypes with HiveORC

HAWQ-1256. non-superuser connect to db will do aclcheck through ranger and curl handle haven't been initialized.

HAWQ-1258. Segment resource manager does not switch back when it cannot resolve standby host name

HAWQ-1256. Enhance libcurl connection to Ranger Plugin Service, keep it as a long-live connection in session level

HAWQ-1249. Don't do ACL checks on segments

HAWQ-1242. hawq-site.xml default content has wrong guc variable names

HAWQ-1246. Add generation of RequestID, ClientIP, queryContext(SQL Statement) and encapsulate these contents to JSON request to RPS.

Revert "HAWQ-1242. hawq-site.xml default content has wrong guc variable names"

This reverts commit 61646cd55fddb4ef3feafe9fd125763796d518c0.

HAWQ-1242. hawq-site.xml default content has wrong guc variable names

HAWQ-1240. Fix bug of plan refinement for cursor operation

HAWQ-1239. Fail to call pg_rangercheck_batch() when when 'rte->rtekind != RTE_RELATION' or 'requiredPerms == 0'

HAWQ-1237. Modify hard code 'select' privilege in create_ranger_request_json_batch() in rangerrest.c

HAWQ-1243. Add suffix name for ranger restful service.

HAWQ-1241. No need of ext/python in *PATH in file greenplum_path.sh

Also remove the Solaris branch code since we do not support Solaris.

HAWQ-1179. Call Bridge api with profile value read from Fragmenter call.

HAWQ-1178. Enhance Fragmenter api to return profile name.

HAWQ-1208. Porting gpdb interconnect fix to hawq

This commit includes below commits in gpdb:
------------------------------------------
commit ce9cf07073946644b9dbc9a2fa0c1ca1179c57ee
Author: xiongg1 <gxiong@pivotal.io>
Date:   Wed Jun 10 19:31:05 2015 -0400

    [JIRA: MPP-25589] interconnect timeout bug

commit 615934aa7cf87eab9b258cb56eae7766aabab979
Author: tangp4 <ptang@pivotal.io>
Date:   Tue Jul 7 22:00:24 2015 -0400

    [JIRA: MPP-25497] Fix the coverity defect CIDs: 16672

commit ae75ad81020533e0acc69daba086581dbca68ed2
Author: TangPengzhou <ptang@pivotal.io>
Date:   Thu May 21 17:36:30 2015 +0800

    [JIRA: MPP-25497]  Shutdown interconnect thread before shmem_exit()

    Sometimes, if a FATAL level error occurs, shmem_exit() freed contexts that
    still being accessed by ic thread, this cause a segment fault unexpectedly.

commit 2d7d0735f5b862d62a84d446f6dd2ce44b0df250
Author: Gang Xiong <gxiong@pivotal.io>
Date:   Sun Jan 3 13:37:34 2016 -0500

    [JIRA:MPP-26123] Handle corner case of interconnect ack packet

    When the ack packet is resent with UDPIC_FLAGS_STOP set, we need to make
    sure the sender is aware of that. Otherwise, the sender will hang there
    forever.

commit ad8328423661cb64e7b905df4928e48d532653b9
Author: Heikki Linnakangas <hlinnakangas@pivotal.io>
Date:   Sun Aug 30 00:11:17 2015 +0300

    [MPP-25631] Remove unnecessary #includes.

    No particular urgency to clean up just these, just something that caught my
    eye while browsing the code.

commit 65809c0bf53a665a16e467331ea6e7d65aee54c6
Author: xiongg1 <gxiong@pivotal.io>
Date:   Mon Jun 15 19:36:55 2015 -0400

    [JIRA: MPP-25590] Wrong error message when socket is exhausted on master

commit a343ed5bfd992b10137ad232f241be72857d6ea2
Author: gpadmin <gpadmin@g187>
Date:   Thu Oct 27 18:58:54 2016 +0000

    Add GUC called gp_interconnect_tcp_listener_backlog for tcp interconnect to control the backlog param of listen call

commit eda343b5050e31764154698f25e88d6f3fa7e957
Author: Kenan Yao <kyao@pivotal.io>
Date:   Tue Oct 25 16:10:05 2016 +0800

    Fix a bug in function destroyConnHashTable which frees a wrong pointer and
    should cause SIGSEGV.

Signed-off-by: Pengzhou Tang <ptang@pivotal.io>
commit 616f3c8f0ea372e01d166f4a6c52c6075a74ecd3
Author: Pengzhou Tang <ptang@pivotal.io>
Date:   Tue Apr 5 10:50:55 2016 +0800

    Fix coverity issue for 7e8f391dfdd

commit 7e8f391dfdd8945573d8b621533626813f8f7684
Author: tangpengzhou <ptang@pivotal.io>
Date:   Mon Mar 28 23:47:48 2016 +0000

    Fix tcp socket/port leak when interconnect type is udp or udpifc

    Since gpdb don't allow changing interconnect type after connection started, it's unnecessary to
    allocate a tcp socket and port for hot switching from udp/udpifc to tcp.

commit 7e8f391dfdd8945573d8b621533626813f8f7684
Author: tangpengzhou <ptang@pivotal.io>
Date:   Mon Mar 28 23:47:48 2016 +0000

    Fix tcp socket/port leak when interconnect type is udp or udpifc

    Since gpdb don't allow changing interconnect type after connection started, it's unnecessary to
    allocate a tcp socket and port for hot switching from udp/udpifc to tcp.

commit 8ec73f12c997777cae321c301a079f2cae2914fc
Author: Pengzhou Tang <ptang@pivotal.io>
Date:   Thu Mar 3 15:36:06 2016 +0800

    Fix incorrect EOS warning message generated by direct-dispatch type queries

    QD should not expect end-of-stream comes from QEs who is not members of
    direct dispatch and should not report warning message.

commit 21973ab2282701eff45f9b9448525da266843ca4
Author: Pengzhou Tang <ptang@pivotal.io>
Date:   Thu Mar 24 16:16:11 2016 +0800

    Fix ic thread waiting error in utility mode

    Interconnect thread is not created in utility mode, ic_rx_thread_created is initialized to true which
    cause WaitInterconnectQuitUDP() to wait a non-existent ic thread.

commit ba4b8ab4bce0cb62e7b1d3124012a20849434d81
Author: xiong-gang <gxiong@pivotal.io>
Date:   Fri Nov 18 17:10:41 2016 +0800

    Correct 'extraSeq' in ack packet after stop is requested

    If the ack packet in doSendStopMessageUDPIFC() is lost, QE will keep sending status packet,
    and QD will ack it in handleDataPacket(). We need make sure the 'extraSeq' is equal to 'seq'
    in the ack packet so that QE can update the capacity. Or else, QE will hang for ever.

[HAWQ-1232] Update versions strings for 2.1.0.0-incubating release.

This included adding 2.1.json (copied from 2.0.json).

Revert "HAWQ-1179. Call Bridge api with profile value read from Fragmenter call."

Revert "HAWQ-1178. Enhance Fragmenter api to return profile name."

HAWQ-1179. Call Bridge api with profile value read from Fragmenter call.

HAWQ-1178. Enhance Fragmenter api to return profile name.

HAWQ-1230. Introduce macro __MAYBE_UNUSED to surpress unused funtion/variable kind of warnings.

HAWQ-1226. fix compile error under gcc 4.8.2

HAWQ-1229. Remove verbose help message in hawq config

HAWQ-1226. HAWQ core dump due to enable ranger while RPS is down

HAWQ-1227. Fix hawq init fails when user name with a capital.

HAWQ-1221. Add register test case verify bug fix YamlFileNotExist and NonDefaultBucketnum check.

HAWQ-1001. Bugfix and light refactor ranger logic.

 HAWQ-870. Allocate target's tuple table slot in PortalHeapMemory during split partition

 merge GPDB split-partiton optimization

 Origin GPDB PR:
 greenplum-db/gpdb#866

HAWQ-1001. Implement HAWQ basic user ACL check through Ranger.

HAWQ-1002. Implement configuration GUC related to Ranger.

HAWQ-1004. Implement calling Ranger REST Service using libcurl for privilege check.

HAWQ-1214. Remove resource_parameters

HAWQ-1221. hawq register should error out when register a yml file doesn't exist

HAWQ-1044. Fix bugs in test case TestHawqRegister.TestUsage2Case2IncludeDirectory

HAWQ-1140. move hawq register test to parallel schedule

HAWQ-1044. Fix bugs in testcase TestHawqRegister.TestUsage2Case1IncludeDirectory

HAWQ-1140. Parallelize test cases for hawqregister usage2.

HAWQ-1195. Support Two or more external tables use the same error table

In this case, we should assign a new sets of seg files for INSERT INTO ERROR TABLE.

Revert "HAWQ-1195. Fixed error "Two or more external tables use the same error table ""

This reverts commit fad1b90505b3112d480cf1635f16edd8a957cc85.
Because regression test failed.

HAWQ-1213. Incorrect check of hawqregister in case of randomly distributed table with non-default `default_hash_table_bucket_number` value.

HAWQ-1195. Fixed error "Two or more external tables use the same error table "

The error table should be works same as normal user table on hdfs, which support multiple INSERTs.

HAWQ-858. Fix parser to understand case / when expression in group by

HAWQ-1191. Decomissioned DELIMITER from HiveOrc profile.

HAWQ-1196. Added partitons support to HiveOrc profile.

HAWQ-1188. Add gp-type minimal check.

HAWQ-1188. Fix "-Wtautological-constant-out-of-range-compare, -Wtautological-compare, -Wpointer-bool-conversion, -Wnon-literal-null-conversion, -Wincompatible-pointer-types, -Wincompatible-pointer-types-discards-qualifiers, -Wlogical-not-parentheses" compile warnings under osx.

HAWQ-1199. guc enable_prefer_list_to_rm does not work.

HAWQ-1190. Fix "-Wtypedef-redefinition, -Wconstant-logical-operand, -Wmemsize-comparison, -Wnull-dereference, -Wpointer-sign, -Wint-conversion" warning types.

HAWQ-1160. Hawq checkperf does not handle hostfile correctly

HAWQ-77. Fix source code comment for new ALTER/CREATE RESOURCE QUEUE ddl statements
    Fix contains:
    1. start error message with a lowercase letter
    2. avoid contractions in error message
    3. refine "can not" to "cannot"
    4. add single quote to resource queue name
    5. remove unused function "getLocalTmpDirFromMasterRM"

HAWQ-1170. Crash at cleanup_allocation_algorithm() when enable '--enable-cassert' option

HAWQ-1187. Fix "-Wsometimes-uninitialized, -Wsizeof-pointer-memaccess, -Wdangling-else, -Wheader-guard, -Wenum-conversion, -Winvalid-source-encoding" compile warnings under osx.

HAWQ-1188. Fix guc type issue for Gp_interconnect_transmit_timeout

HAWQ-1189. Split schedule file to sanity and full tests for feature tests.

HAWQ-1183. Writable external table with Hash distribution shows slow performance

This fixes some warnings also in the affected source file.

HAWQ-1186. Remove with-thrift in src/Makefile.global.in

HAWQ-1184. Fix risky "-Wshift-negative-value, -Wparentheses-equality, -Wtautological-compare" types of compile warnings under osx.

HAWQ-1182. Add Macro for unused argument and variable.

[HAWQ-1172][LIBHDFS3]. Fix typo of LIBUUID_INCLUDE_DIRS in FindLibUUID.cmake.

HAWQ-1171. Add UDF check before register

HAWQ-1174. double type core counter of container set has precision issue

HAWQ-1171. Support upgrade for hawq register.

HAWQ-1149. Fixed relcache reference leak when pg_class tuple is invalid

HAWQ-1115. Implement filter-push down for IN on PXF service side.

HAWQ-1114. Implement filter-push down for IN on HAWQ bridge side.

Revert "HAWQ-1149. Fixed relcache reference leak in some cases"

This reverts commit e93e705a82f86b1b0b3e704f43bfe04e9fd59ef7.

HAWQ-1149. Fixed relcache reference leak in some cases

HAWQ-1169. HAWQ Bridge incorrectly pushes T_NullTest predicates with byte arrays.

HAWQ-1149. Fixed assert failure at cdbdatabaseinfo.c:803

HAWQ-1145. Add UDF gp_relfile_insert_for_register and add insert metadata into gp_relfile_node and gp_persistent_relfile_node for HAWQ register

HAWQ-1167. Fix parquet format estimate column width for bpchar type.

HAWQ-1162. Resource manager does not reference dynamic minimum water level of each segment when it times out YARN containers

HAWQ-1149. Only refresh Relation->rd_relationnodeinfo.isPresent when relation is valid.

HAWQ-1130. Make HCatalog integration work with non-superusers.