BIGTOP-3527: replace ${PWD} with ${CURDIR} in debian rules files (#760)

According to
https://lintian.debian.org/tags/debian-rules-calls-pwd.html,
CURDIR is the preferred way in a makefile (like rules) to refer to the
current directory. For some reason I got building failures when running
a Debian 10 bigtop docker imagei and trying to build the hadoop pkg,
that got solved only applying this fix.

Applied the same fix to all the debian rules files with ${PWD}.

(cherry picked from commit 0351fdac364d3182ec26df8364ccfb49774df15f)

BIGTOP-3688. Bump Hadoop to 2.10.2 in branch-1.5. (#906)

* BIGTOP-3688. Bump Hadoop to 2.10.2 in branch-1.5.

* using released 2.10.2 artifact.

BIGTOP-3539. Building bigtop-groovy fails on all distros and platforms. (#774)

(cherry picked from commit bb6441f774b586873b0afc7467a32df88d5a74e3)

BIGTOP-3626: Upgrade ycsb and its log4j dependencies (#849)

At the time of writing upstream didn't release any official fix
for the lo4j CVEs, but brianfrankcooper/YCSB#1583 seems taking care of it.
Credits for the upstream fix: Filipe Oliveira <filipecosta.90@gmail.com>

This change also bumps ycsb to its latest upstream, to allow the log4j
patch to be applied cleanly.

BIGTOP-3621: Bump Oozie's log4j dependencies to 2.17.0 (#846)

This commit just bumps the bigtop.bom's release number for
the Oozie package. In order to pull the right log4j dependencies,
the package needs to be built after the Hive one, reusing
the maven cache (like `./gradlew hive-pkg oozie-pkg`).

BIGTOP-3619 - Upgrade hive 2.3.6 to log4j 2.17.0 (#844)

This commit is based on the work done in BIGTOP-3615
for Hive 3.x. In HIVE-25795 there seem to be no
indication that upstream wants to fix branch-2.3 too,
so this change should be enough for the moment to secure
Hive users of Bigtop 1.5.

BIGTOP-3582. Logstash RPM Build Fails. (#815)

(cherry picked from commit d9f163507e69fc46acdbcf4bb12f5ca22d10e8d3)

BIGTOP-3562. Building Logstash is failing due to the unavailability of keyserver. (#791)

(cherry picked from commit 3cb84ddcff0f2a0e80b916ec71895b58b53c623e)

BIGTOP-3499. Fix Logstash build failure due to gem version incompatibility. (#734)

(cherry picked from commit 4a9f6598321a61e2c4fb60da56ef54904b8dd4f2)

BIGTOP-3546. Could not find org.pentaho:pentaho-aggdesigner-algorithm:5.1.5-jhyde.

BIGTOP-3515 - Backport HIVE-19231 (#749)

This patch is contained in the Hive 3.x branch, but not in the Hive 2.x one. It
leads to subtle errors when executing Hive via Python or systemd, and
having it fixed in the 1.5 branch would allow people to rebuild their
packages if needed (we could update the docs about it).

Additional fix of release notes for 1.5.0 RC0

BIGTOP-3462. Deploying Livy fails if the SPARK_HOME directory doesn't exist. (#709)

(cherry picked from commit 77d41573bb4d8c41e5f4b606c905698dcc49ee81)

BIGTOP-3460. Extend timeout for Ambari Server setup. (#708)

(cherry picked from commit 87733f52077d54cf0d68502e0d78baab22d2499c)

BIGTOP-3458. Fix broken dependency on groovy-all in the test framework. (#706)

(cherry picked from commit b622fc64d3b396df9678245d3e174364b6d48f27)

BIGTOP-3459. Deploying GPDB fails on ARM64 CentOS 7. (#707)

(cherry picked from commit 67df377ab7c9f708916b2952018eb3acf72e9870)

Update default values in hieradata for release 1.5.0

(cherry picked from commit 9715ca7ab9ae049b6e7b058c972e0ddd8aedf293)

Bigtop 1.5.0 release

BIGTOP-3455: add hive patch to fix HIVE-17368 (#705)

(cherry picked from commit c6afdccaa2ff5cf6909a7ac89b96842ecd6ec8e0)

BIGTOP-3451. Fix smoke test for SparkR. (#702)

(cherry picked from commit 0469fa579c0b23a799e110a18c3fdf0f9e3ca639)

BIGTOP-3449. Failed to build Haddop-2.10.1 on Arm64. (#701)

(cherry picked from commit 0b45e14fec8e17af4ae7b2660933783d6b71448c)

BIGTOP-3448. Building Alluxio fails on all distros. (#700)

(cherry picked from commit bae3cd98538493dfa15a54e8c36786be255164d6)

BIGTOP-3446. Fix toolchain task failure due to undefined variable in renv.pp. (#698)

Megerd, thanks @iwasakims

(cherry picked from commit 26614ccbb10fce25f17a71f152ebb2a00590642d)

BIGTOP-3443: Building Spark fails on Ubuntu 16.04 (#697)

* BIGTOP-3443: Building Spark fails on Ubuntu 16.04

R version in Ubuntu16.04 is 3.2.3.
The packages 'digest' and 'htmltools' are not available (for R version 3.2.3).
There are some other dependency issues in R-3.2 which seems to be deprecated.

Upgrade the R version to 3.4 for ubuntu-16.04.

Change-Id: I1b5b5116ed09c24da701e6247ce5108ad28f1a79
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>
* Fix typo and unify code style

Change-Id: If606e03e225077d14177062f630b943bba21397b
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>
(cherry picked from commit b4784868fa9dc26f42d0e60271586e448486b754)

BIGTOP-3425. Deploying Ambari fails on Fedora 31. (#695)

(cherry picked from commit e2160e26ef803cdeeaa1e4a966c4ba4b13c83fd3)

BIGTOP-3444. Bump Hadoop to 2.10.1. (#693)

* BIGTOP-3444. Bump Hadoop to 2.10.1.

* addressed API change of azure-storage.

(cherry picked from commit d661a5643471c9fd1057e7979670a08256659a41)

BIGTOP-3440: disable flume solr sink to avoid build failures (#694)

The solr sink currently depends on kite, that it is a library not
developed anymore. There are currently build failures due to
the ua_parser library, that was available in a Twitter maven repository
not maintained anymore (since it throws HTTP 503s consistently).
Flume upstream moved the dependency to another repository,
https://github.com/apache/flume/commit/9e0bc5bf4865673e6989ba887d27f468991c1e27
that fixes the Twitter problem but that brings in another build failure
for the 'rome' dependency.

This commit removes the solr sink from the build list, resolving the
overall build problem for Flume.

(cherry picked from commit 8e1bf51585ef78a914640d7d3eba367a174d2a76)

BIGTOP-3429. QFS smoke test fails on Ubuntu 16.04. (#696)

(cherry picked from commit b22191d2253d69202573df6cdec8bbbbd05cd8a1)

Changing version to 1.5.0

Preparing for release 1.5.0

BIGTOP-3441. Suppress YCSB smoke test output. (#691)

BIGTOP-3427. Deploying GPDB fails due to the paramiko installation on some distros (addendum). (#690)

BIGTOP-3439. Oozie's smoke test fails on CentOS and Fedora. (#689)

BIGTOP-3427. Deploying GPDB fails due to the paramiko installation on some distros. (#688)

BIGTOP-3422. Fix ambari-server setup failure due to PostgreSQL initdb error. (#687)

BIGTOP-3406. Fix Oozie smoke test to work. (#676)

BIGTOP-3437. Building Logstash fails due to amazing_print version mismatch. (#686)

BIGTOP-3397. Building Spark is failing on CentOS 7 for ARM64 and PPC64. (#685)

Merge pull request #678 from guyuqi/BIGTOP-3411

BIGTOP-3411: Disable unnecessary scm check in Buildnumber-maven-plugin for Mpack

BIGTOP-3431, README.md updated to contain contextual information for how to build with git.

Signed-off-by: Olaf Flebbe <of@oflebbe.de>

BIGTOP-3416. Fix YCSB to work with CentOS 8 and Fedora 31. (#681)

BIGTOP-3418. Fix Ambari deployment on CentOS 8, Fedora 31 and Debian 10. (#683)

BIGTOP-3413. QFS doesn't work with Hadoop's TeraGen. (#682)

BIGTOP-3414. Fix the default value of GPDB configuration for smoke test. (#679)

BIGTOP-3419: fix condition

Introduce Jenkinsfile.site for publishing to website

BIGTOP-3415. Extend timeout for Spark smoke test. (#680)

BIGTOP-3411: Disable unnecessary scm check in Buildnumber-maven-plugin for Mpack

Make it possible to use Buildnumber-maven-plugin to generate build number
without unnecessary scm check. And fix 'rat' issues.

Change-Id: I1ebc24ad46f8167e75f6a35bb64df27e8184627b
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3410. Fix bigtop-tomcat build failure due to downloading problem. (#677)

BIGTOP-3394: Building Logstash is failing on CentOS 8, Debian 10 and Ubuntu 18.04 (#675)

when rvm install ruby-2.4.0 under user: jenkins,
it fails to "try_sudo" to install autolibs dependencies.
Disable unnecessary autolibs installation.

Change-Id: Ib779074d2180d274dd8526166ca1bf4ed4ac3a3e
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

Add RPM scripts for making Mpack as a standalone component

Change-Id: If996dd00259f1de4dbfc5c9a1876a7d91468729a
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3376: Make Mpack as a standalone component in Bigtop

For users/Bigtopers could easily modify Mapck and make contributions to it like bugfix
and adding more services, the task is to decouple Mpack from Ambari and
put Mpack as a standalone component in Bigtop, like bigtop-packages/src/common/bigtop-mpack.

Change-Id: If1613910325763e4ef4f5299f23456c1f2a20d85
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3407. Ensure the procps package is installed in Debian 10. (#673)

BIGTOP-3408. docker-hadoop.sh generates broken site.yaml from config.yaml containing multiple components. (#674)

BIGTOP-3409: minimal staging yaml

Merge pull request #671 from guyuqi/BIGTOP-3401

BIGTOP-3401: Failed to build Centos-8 docker images for Arm64

Update the puppetlibs-4.12's modulepath into build.gradle.

Change-Id: I1aff27f304016eda580a51849de55109070b3248
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3405. Make gpg_check in docker-hadoop.sh configurable. (#672)

Fix docker provisioner on Arm64 Centos-8

Modify Puppet modulepath for puppetlabs-4.12 to
fix "Unknown function: 'any2array'" issue.
Fix 'shellcheck' warnings.

Change-Id: I9a41eabd2e5472def0b0c551ed5744e3819da939
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3401: Failed to build Centos-8 docker images for Arm64

The patch is to fix this issues.

Change-Id: I3e5f1bd864af6ada64c37657af6d8fea15c1df98
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3399. Fix bigtop-groovy build failure. (#670)

BIGTOP-3398. Fix GPDB puppet manifest to work. (#668)

BIGTOP-3396. Building Ambari is failing on Fedora 31 for ARM64. (#667)

BIGTOP-3395. Building Kafka is failing on Fedora 31 for ARM64. (#666)

Revert "BIGTOP-3382. Upgrade Flink to 1.11.1 (#665)"

This reverts commit 6f920a14401a65b072a31d5f935b3156840c6c28.

BIGTOP-3382. Upgrade Flink to 1.11.1 (#665)

BIGTOP-3391: Support GPDB on Perl 5.30+ environment (#664)

GPDB is using a special variable $[ in its Perl script,
but it was deprecated from v5.30. So it can't be built
on some distros, e.g., Fedora 31 and Ubuntu 20.04.

This patch fixes indexs used in array and substr functions.

Change-Id: I92c793243c37ce57ffe146b71a5f732488f5e4a9
Signed-off-by: Jun He <jun.he@arm.com>
Co-authored-by: Jun He <jun.he@arm.com>

BIGTOP-3392. All packaging jobs are failing on Fedora 31 for aarch64 and ppc64le. (#663)

BIGTOP-3320: Add Kibana as Bigtop component (#657)

BIGTOP-3390. Building Alluxio fails on Fedora 31. (#662)

BIGTOP-3387: Building QFS fails on CentOS 8 (#658)

BIGTOP-3389 (addendum). Extend timeout for installing R packages again. (#661)

BIGTOP-3389. Extend timeout for installing protobuf and R packages. (#660)

BIGTOP-3386: Building GPDB fails on CentOS 8 (#659)

BIGTOP-3371. Unable to build Apache Ambari on RHEL8. (#656)

BIGTOP-3380. Bump Tomcat to 8.5.57. (#655)

BIGTOP-3377. Fix deployment failures on Fedora 31 (#652)

BIGTOP-3378. Fix Livy deployment failure on Debian and Ubuntu. (#653)

BIGTOP-3379. Fix Spark build failure on CentOS 8. (#654)

BIGTOP-3375. Bump Livy to 0.7.0 and build it with Python3. (#651)

BIGTOP-3343. Add Debian 10 and Ubuntu 18.04 support to the Docker provisioner. (#634)

BIGTOP-3374. Add dependencies on the utilities provided by Bigtop to bigtop.bom. (#650)

BIGTOP-3355. [Puppet] Make GPG check for repos a configuration and default to true (#649)

BIGTOP-3319: Add Logstash as Bigtop component (#620)

BIGTOP-3372. Building Spark fails on Debian 9 and Ubuntu 16.04. (#648)

BIGTOP-3364: Leverage pip3/python3 to install setuptools

setuptools could not be installed by pip/pip2 on Ubuntu-16.04/18.04 and centos-7.
From https://packaging.python.org/tutorials/installing-packages/#requirements-for-installing-packages,
it suggests to leverage python3/pip3 to install setuptools package.

Change-Id: I42b6eb483d3f0e66637e6fc6bbd1fa6eb0a4e60c
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3236: Zeppelin smoke tests implementation (#577)

BIGTOP-3363. Drop Apex, Hama and Tajo in the 1.5.0 release. (#647)

* dropped Apex.

* dropped Hama.

* dropped Tajo.

BIGTOP-3369: RHEL8 does not have PowerTools repo but CodeReady Builder (#645)

BIGTOP-3361: No libcrypt.so.1 in Fedora-31

libcrypt.so.1 is not available in Fedora-31 both for Arm64 (both in bigtop/puppet and bigtop/slaves)
and x86_64 (just in bigtop/puppet).
It would cause some dependency issues when some pacakges need to link it such as jffi.
Add libxcrypt-compat in Bigtop_toolchain to fix it.

Change-Id: Ia3b67c17ae710f4e1d06fe3f213c02a83e99b3df
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3362. Unable to install spark-python package on CentOS8 due to lack of python package. (#644)

BIGTOP-3359. Fix failure of installing Hadoop due to conflicting .build-id entry on CentOS 8. (#642)

BIGTOP-3356: Add CentOS 8 support to the Docker provisioner (#640)

BIGTOP-3358: get_roles() function should fail if a component is not in roles_map (#641)

BIGTOP-3327: Fix Zeppelin build issue after upgrading Spark-2.4.5 (#631)

When upgrading Spark-2.4.5, Zepplin-0.7.3 is not compatible with Spark-2.4.5.
The patch is to bump Zeppelin to 0.8.2 which is the latest and stable release,
and to fix the zeppelin build issues.

Change-Id: I1e4ff8a18f80bcd99896b68a37a7206002adfd0d
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3348. Fix Hive test failures caused by NoSuchMethodError of ApplicationId.fromString. (#636)

BIGTOP-3353: hive.hwi.war.file configuration is no longer needed (#638)

BIGTOP-3347. Fix test failures of Hive ProxyFileSystem against Hadoop 2.10.0. (#633)

BIGTOP-3352: Fix qfs build error on Ubuntu 18.04

dh-python package missing.

Change-Id: I581885650361a6939dd8fd2c254f53302324ad91
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3351: Fix sqoop build error on Ubuntu 18.04

rsync package missing

Change-Id: I08fad6f4343abf4fc49d6d04c83b38ff7adb1a88
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>