HAWQ-1475. Add LICENSE, NOTICE, and DISCLAIMER files for Apache HAWQ binary release c/c++ components

HAWQ-1489. Add LICENSE, DISCLAIMER and NOTICE to pxf jar files.

HAWQ-1425. Print error message if ssh connect failed.

HAWQ-1421. PXF rpm updates to make it oss friendly

HAWQ-1420. Enable build of Ranger plugin open source RPM

HAWQ-1409. Send AGG-TYPE header to PXF

This change is mean to be a proof of concept that pushing down
aggregate function information from HAWQ to the underlying external
storage layer does indeed improve performance

HAWQ-326. Fix specified HAWQ_RELEASE_VERSION for rpm build.

This fix included:
  1) Fixed HAWQ_RELEASE_VERSION for rpm tarball.
  2) Make sure distclean delete all the rpm artifacts.
  3) Added some log output.
  4) Fix exit status

HAWQ-1415. Set the default_value of JAVA_HOME for running RPS (closes #1206).

HAWQ-1419. Run RPS service tests in separate JVMs

(this closes #1202)

HAWQ-1418. Move print executing command after setup logging

HAWQ-1140. Rename yml file name and table name in TestUsage2Case1ErrorHashTableRegistry
(close #1200)

HAWQ-1418. Print executing command for hawq register
(close #1199)

Revert "HAWQ-1415. Set the default_value of JAVA_HOME for running RPS"

This reverts commit a803aab4eec4a71e83d2bd18bb72b93ba4be31a2.

HAWQ-326. Support build rpm package for Apache HAWQ.

HAWQ-1396. Add cases for querying hcatalog via PXF with Ranger enable.

HAWQ-1415. Set the default_value of JAVA_HOME for running RPS
(close #1197)

HAWQ-1414. Bump up PXF version to 3.2.1.0.

HAWQ-1414. Bump up PXF version to 3.2.1.0.

HAWQ-1406. Update hawq version in pom.xml for hawq 2.2.0.0 incubating release

HAWQ-1406. Update HAWQ product version strings for 2.2.0.0-incubating release

HAWQ-1408. Fixed crash when alloc not enough segno for write

This fix includes below changes:
(1) When keepHash, we can not guarantee that only generate remaining_num is enough to alloc seg file for all segment_num. Because the next new generated seg file number may have same hash key id with the old one.
(2) When !keepHash, now the remaining_num returned from addCandidateSegno() is not precise. So we need to fix it to meet the need of HAWQ-642.
(3) At the final call to addCandidateSegno(), we should keep monitoring the remaining_num instead of at the beginning because of the reason (1). So that even the new seg file is not actually used by this query ( maybe for hash key conflict), we can continue to alloc enough seg files for this query.

HAWQ-1405. 'hawq stop --reload' should not stop RPS

HAWQ-1396. Fix the bug when query hcatalog via PXF, hawq sends wrong request to Ranger admin.

HAWQ-1402. Updated comments for Hive-related profiles.

HAWQ-1401. Fix make install with DESTDIR option.

HAWQ-1400. Add a small sleeping period in feature test utility before dropping test database

HAWQ-1397. Support Flex versions 2.6 and above.

* The FLEX configure snippet came from Postgres upstream in the form
  of two commits (see below).
* Misc change: commit tomcat version check for Mac OSX platform using
  brew. This change was out of sync with generated "configure" script.

commit 7d7b129277eb545286aecf29ec22b5bb7fdf46bd
Author: Tom Lane <tgl@sss.pgh.pa.us>
Date:   Mon May 2 11:18:10 2016 -0400

    Fix configure's incorrect version tests for flex and perl.

    awk's equality-comparison operator is "==" not "=".  We got this right
    in many places, but not in configure's checks for supported version
    numbers of flex and perl.  It hadn't been noticed because unsupported
    versions are so old as to be basically extinct in the wild, and because
    the only consequence is whether or not a WARNING flies by during
    configure.

    Daniel Gustafsson noted the problem with respect to the test for flex,
    I found the other by reviewing other awk calls.

commit 32f15d05c80044335f97347b5406f6736c06a033
Author: Tom Lane <tgl@sss.pgh.pa.us>
Date:   Wed Nov 18 17:45:05 2015 -0500

    Accept flex > 2.5.x in configure.

    Per buildfarm member anchovy, 2.6.0 exists in the wild now.
    Hopefully it works with Postgres; if not, we'll have to do something
    about that, but in any case claiming it's "too old" is pretty silly.

HAWQ-1395. PXF build script to support excluding building RPMs for some plugins.

HAWQ-1393. 'hawq stop cluster' failed when rps.sh have some path errors (e.g. CATALINA_HOME)

HAWQ-1387. Add support for CentOS/RHEL 7 in HAWQ Ambari plugin.

HAWQ-1359. Remove getRangerHost() function from ranger test, still use environment variable to specify the Ranger Admin.

HAWQ-1386. Mask some generated files for pljava feature testing for git.

HAWQ-1379. Do not send options multiple times in build_startup_packet()

This patch also tweak the related code a bit.

HAWQ-1378. Elaborate the "invalid command-line arguments for server process" error.

This patch mostly follows the pg commit below.

commit 86947e666d39229558311d7b0be45608fd071ed8
Author: Peter Eisentraut <peter_e@gmx.net>
Date:   Sun Mar 11 01:52:05 2012 +0200

    Add more detail to error message for invalid arguments for server process

    It now prints the argument that was at fault.

    Also fix a small misbehavior where the error message issued by
    getopt() would complain about a program named "--single", because
    that's what argv[0] is in the server process.

HAWQ-1359. Add test cases for Ranger support, combinations of different allow/exclude policies.

HAWQ-1108. JDBC PXF Plugin

HAWQ-1385. fix hawq_ctl stop failed when master is down, the script is trying to connect database and get acl type, but it may fail, if failed in getting the acl type, it should not break other process.

HAWQ-1371. Fix QE process hang in shared input scan

Revert "HAWQ-1342. Fixed QE process hang in shared input scan on segment node"

   The fix introduce hang regression in shared input scan query as described in HAWQ-1371

HAWQ-1381. fix Core dump when execute 'select * from hawq_toolkit.__hawq_log_master_ext;' on macOS

HAWQ-1380. Keep hawq_toolkit schema check in HAWQ native side

HAWQ-1362. remove SYS_CATALINA_HOME to stay consistent with build check CATALINA_HOME

HAWQ-1354. Externalized RPS heap size parameter

(this closes #1168)

Add diagnostic scriptlet to clean up Apache Jenkins slave.

HAWQ-1362. Add RPS start/stop script in HAWQ start/stop script

HAWQ-1377. Add more information for Ranger related GUCs in default hawq-site.xml.

HAWQ-1374. Use variable service name for RPS

(this closes #1160)

HAWQ-1361. Remove some installcheck-good cases since they are in the feature test suite now.

HAWQ-1359. Add additional policy for select view.

Signed-off-by: Chuling Wang <wangchunling14@126.com>

HAWQ-1359. Fix bugs in policy tests for HAWQ with Ranger enabled and add test for HAWQ-1367

HAWQ-1369. Update for RAT status and external doc link in README.md

HAWQ-1359. Fix rat-check issues.

HAWQ-1359. Add policy test for HAWQ with Ranger enabled.

Signed-off-by: Chuling Wang <wangchunling14@126.com>

HAWQ-1353. Added SOLR properties to RPS audit config

HAWQ-1370. Misuse of regular expressions in init_file of feature test.

HAWQ-1367. HAWQ can access to user tables that have no permission with fallback check table.

HAWQ-1365. Print out detailed schema information for tables which the user doesn't have privileges

HAWQ-1366. Throw unsupported error out for dictionary page in Parquet storage

HAWQ-1364. Store Apache Jenkins build scripts.

The following Jenkins build scripts are being stored for easier
maintenance.

* HAWQ-build-pullrequest
* HAWQ-rat

HAWQ-1360. Check privilege of sequence pass the wrong type to RPS.

Signed-off-by: Chuling Wang <wangchunling14@126.com>

HAWQ-1328. Add deny and exclude policy template for hawq service in ranger.

HAWQ-1350. Fix ranger-plugin makefile error

HAWQ-1355. Fix namespace check may occur multiple times in first query.

HAWQ-1351. Remove tweets.tar.gz & generate it dynamically.

HAWQ-944. Implement new pg_ltoa function as per postgres

HAWQ-1350. Add --enable-rps option to build ranger-plugin when build hawq.

HAWQ-1349. make uninstall failed for make target gpmodcat_uninstall

HAWQ-1356. Add waring when user does not have usage privilege of namespace.

Signed-off-by: Chuling Wang <wangchunling14@126.com>

HAWQ-1342. Fixed QE process hang in shared input scan on segment node

The basic idea for this kinds of hung problem is to:
(1) The error thrown segment will invoke rollback the whole transaction, and all related fd will be closed during transaction end.
(2) The other segment just act as before, when wait for select(), it will loop until the specific fd is closed, then the code will run until process interrupt (the rollback transaction will send cancel signal) again in other place afterward.

So some previous fix (HAWQ-166,  HAWQ-1282) will be changed accordingly.

Signed-off-by: Amy Bai <abai@pivotal.io>

HAWQ-1358. Refactor gpfdist library in featuretest.

Signed-off-by: Chuling Wang <wangchunling14@126.com>

HAWQ-1358. Refactor gpfdist library in featuretest.

Signed-off-by: Hubert Zhang <hubertzhang@apache.org>

HAWQ-1357. Super user also need to check create privilege of public schema from Ranger.

Signed-off-by: Hubert Zhang <hubertzhang@apache.org>

HAWQ-1356. Add waring when user does not have usage privilege of namespace.

Signed-off-by: Hubert Zhang <hubertzhang@apache.org>

use <> in options/arguments section

This closes #903 PR.

improve hawq check command line help

- add several missing options
- update content for accuracy and clarity

HAWQ-1063. HAWQ Python library missing import (DatabaseError).

This closes #920 PR.

HAWQ-1348. Some hawq utility helps should say default timeout is 600 seconds

HAWQ-1347. QD should check segment health only

HAWQ-1345. Fixed relfile path bug: catalog and hdfs relfile have different rule

Signed-off-by: Amy Bai <abai@pivotal.io>

HAWQ-1343. - Install pip and minor formatting change.

HAWQ-1344. Rollback Apache HAWQ version to 2.1, update PXF to 3.2

HAWQ-1322. Changed RPS RPM name to hawq-ranger-plugin_<version>

(closes #1131)

HAWQ-1134. Add Bigtop layout specific pxf-private classpath

HAWQ-1134. Add Bigtop layout specific pxf-private classpath

This closes #993 PR.

HAWQ-1340. Remove unused file - tools/bin/disqual.ksh

This closes #339 PR.

HAWQ-1330. More ASF header updates (including pom.xml update)

HAWQ-1336. Travis CI "brew" updates

* Display brew version.
* Display installed brew components and version after brew update.
* Perform "reinstall" instead of "install" to avoid pre-existing
  component version errors.
* Display installed brew components and version after brew work is
  complete.

HAWQ-1325. Allow queries related to pg_temp if ranger is enable

HAWQ-1338. Fixed writer process doesn't exit nicely in some case

Signed-off-by: Ivan Weng <iweng@apache.org>

HAWQ-1334. QD thread should set error code if failing so that the main process for the query could exit soon

HAWQ-1331. Update hawq version in pom.xml

HAWQ-1331. Update hawq and pxf versions

HAWQ-1315. Function validateResourcePoolStatus() in resourcepool.c is logging the wrong information

HAWQ-1314. Added upgrade for function pxf_get_item_fields.

HAWQ-1323. Fix access mode of files in adding license header added to each source file in test directory

HAWQ-1326. Cancel the query earlier if one of the segments for the query crashes

HAWQ-1329. pg_catalog view fallback failed.

HAWQ-1323. Add license header added to each source file in test directory

HAWQ-1327. Move ID from struct SegStatData to struct SegInfoData so that ID could be used in QD.

This also fixes some warnings and some minor bugs which are found during warning fixing.

HAWQ-1324. Fixed crash at query cancel, signal hanler cannot call unsafe elog()