Update the release notes for 3.0.1

BIGTOP-3659. Ambari deployment fails due to the odpi-ambari-mpack version mismatch. (#881)

(cherry picked from commit 950b534778bc9030564ac4843a67d2b24d8761a8)

BIGTOP-3657. Revert the download site to archive.apache.org partially (#879)

(cherry picked from commit c4be81b957a174833f60230e4e708e151705b7d8)

Bigtop 3.0.1 release

BIGTOP-3639 (addendum). Alluxio build fails on ppc64le. (#877)

(cherry picked from commit 6094ff896a74030b60ba5ce436b582d2de16bbdb)

BIGTOP-3656. Ambari Mpack fixes for debian/ubuntu (#852)

(cherry picked from commit 2584d0caeff221da3ad87d5f2e195605e802456f)

BIGTOP-3655. Cluster deployment via Ambari fails on CentOS due to the lack of execute permission. (#875)

(cherry picked from commit 945c102d14a04023913354e8bec8c5ac2b6470e5)

BIGTOP-3592: Remove Ambari stack-select tool dependency from stack hooks (#825)

Change-Id: I8c34031fc8d21a6d908153f21b85e61b55b5a300
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>
(cherry picked from commit 1c1eed9deab5aad4c713bc7afac47879b6407829)

BIGTOP-3591: Upgrading Bigtop-Mpack services deploying scripts aligned to Ambari-2.7.5 (#824)

After upgrading Ambari to 2.7.5, it failed to install the services from the Bigtop-Mpack.
The patch is is to upgrade Bigtop-Mpack services deploying scripts and fix the related issues.

Change-Id: I6fa8803dba46a8f908052eaf933ab9aa348df88c
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>
(cherry picked from commit 60394e29f03ffdbdd739a932ffeefae1b98c2122)

BIGTOP-3639: Alluxio  build fails on ppc64le (#861)

(cherry picked from commit b296ae68de2e40c641361679439e05ba6df77f1b)

BIGTOP-3654. Building Hadoop fails on ppc64le. (#874)

(cherry picked from commit d3a29877bbbfd096fd1b7dfe422610d459545c37)

BIGTOP-3653. Building Kibana fails due to the npm error. (#873)

(cherry picked from commit d377c5968248612d147e4c6b43810b94b12e423b)

Changing version to 3.0.1

BIGTOP-3652. Add the python-is-python2 package to the toolchain for Ubuntu 20.04. (#872)

(cherry picked from commit cfd45fa17c85ba74a4a26c224491bf4127603f78)

BIGTOP-3649: Fix Nexus local mirror functionality (#870)

(cherry picked from commit 5d0802eff3c23dc4aeaa61129e1373040c88c620)

BIGTOP-3648. Change download site to dlcdn.apache.org for installing Ant and Maven. (#869)

(cherry picked from commit ea790db0c4fc6c5c0590cc86b3c736b766b857d8)

BIGTOP-3647. Change RPM repository for CentOS 8 to Vault Mirror. (#868)

(cherry picked from commit 42425b8126ec437706cb128249c9240a3d205be7)

BIGTOP-3646. Upgrade Geode and TableStore SDK version for YCSB. (#867)

(cherry picked from commit f8a682615b3bda12d97677de4224b72080d57342)

BIGTOP-3637. Add Rocky Linux 8 support. (#859)

(cherry picked from commit e22bb1114c64f99f65056485dd454bc78b4c9f13)

BIGTOP-3642. Upgrade log4j to 2.17.1 on all components. (#863)

(cherry picked from commit 54cccb2f217ce730f73d4a0c6da967536a90f03e)

BIGTOP-3640: Upgrade hive's log4j2 version to 2.17.1 for Bigtop 3.0.x (#862)

(cherry picked from commit 2a0f79e36c3b92b4dd356bcf04553040232e7f28)

BIGTOP-3635: Bump logstash's log4j dependencies to 2.17.0 (#858)

(cherry picked from commit d723c1b0320d5894321bc53a6f12a91ae07a07fd)

BIGTOP-3634 Fix centos local repo functionality (#856)

(cherry picked from commit 7702daf1cf0e3534e788fcf659c3c0060f1cd987)

BIGTOP-3632: Bump elasticsearch's log4j dependencies to 2.17.0 (#855)

(cherry picked from commit fbba2de359c9e73c67ff93be1c8a9fa457215bc2)

BIGTOP-3614: allow to change the docker-compose.yml file in the provisioner (#851)

This is a simple change to allow docker-compose to use a different
config file when creating instances. This is useful when testing
new settings and also to keep multiple versions of docker-compose.yml
(if the same version cannot be re-used across multiple OS etc..).

For example, from my recent tests the actual docker-compose.yml
config seems not to work with cgroup v2 and systemd on Debian 10/11.

Add also a simple configuration file called docker-compose-cgroupsv2.yml
to be used and tested on different OS(s).

(cherry picked from commit 4648b7113cd88371b5ac74caad9fdc6323496fb6)

BIGTOP-3626: Upgrade log4j dependencies for ycsb (#848)

At the time of writing upstream didn't release any official fix,
but https://github.com/brianfrankcooper/YCSB/pull/1583 seems
taking care of it.

Credits for the upstream fix: Filipe Oliveira <filipecosta.90@gmail.com>

(cherry picked from commit 265e891afe1c374a7eb8199963ef20913322b994)

BIGTOP-3589. Fix build failure of Alluxio caused by buildnumber-maven-plugin. (#821)

(cherry picked from commit 78105fffd9902001c9c7ee79853912ba3690c47f)

BIGTOP-3624: Bump alluxio's log4j dependencies to 2.17.0 (#847)

(cherry picked from commit a7671a933f780f9dfab84a46f2b62161392f13f0)

BIGTOP-3618. Bump Solr to 8.11.1. (#843)

(cherry picked from commit 255860ea8a1446e2db857723152f743fb2814f9f)

BIGTOP-3616. Bump Flink to 1.11.6. (#842)

(cherry picked from commit 89f2698f7b86a1ff13d0786e2de8d0fc7449f069)

BIGTOP-3615. Upgrade log4j2 of Hive 3.1.2 to 2.16.0. (#841)

(cherry picked from commit 12885ddf60c2b34b4b6e21ad68fec439f3f72ace)

BIGTOP-3609 - Update ca-certificates for CentOS 7 (#838)

Due to https://access.redhat.com/articles/6338021 ant and maven classes
fail to download due to TLS certificate expiration check issues.
(cherry picked from commit 5a0a583f3a0d327b329e98061d27369b5eb60fe0)

BIGTOP-3600 (addendum) - Deploy python*-dev deps on Debian images (#837)

In https://github.com/apache/bigtop/pull/829 I caused some
failures in gpdb package builds, since python2.7-dev
dependencies are needed.

On Debian 9/10/11 python3-dev and python2.7-dev are available,
so better to be explicit and install both at the same time.

(cherry picked from commit d7d3e0edd8cdf4601ac11a9d7b8d9fe38c638001)

BIGTOP-3607. Change the ambari metric repo to fix build error (#836)

(cherry picked from commit ebbf2f763149da2132a055c11d00d41a4ca01eff)

BIGTOP-3600 - Add Debian 11 support to the Docker provisioner (#829)

(cherry picked from commit b312bcd3bfb11b9d13112a783ddfd373c87a8818)

BIGTOP-3595: Fix missing webui module for building Alluxio RMP package and failure to create alluxio user after installing Alluxio (#826)

(cherry picked from commit e3e1e0e70cda56153c0bbed87d8c40d4c36f06d7)

BIGTOP-3593: Fix Bigtop solr check Rat Issues (#823)

Change-Id: I0edd864e04a0081103d922c7a5317e83568f34f4
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>
(cherry picked from commit 22cd25ebcef981ad7357de0969f8676f9a9b45cd)

BIGTOP-3590. Hbase smoke tests failed on Ubuntu 20.04. (#822)

(cherry picked from commit 1f0f13fb0862d48e0121dbe9dd44e64638d32947)

Update the release notes for 3.0.0 with BIGTOP-3588.

BIGTOP-3588. Pin redis-rb version for Logstash to 4.4.0. (#820)

(cherry picked from commit 6955a57dcededefc54ebb7f140ac91ab82fb4172)

Bigtop 3.0.0 release

Update default values in hieradata for release 3.0.0

(cherry picked from commit c3f73f151f9a639d078280efa1479f22220b20a5)

Preparing for release 3.0.0

(cherry picked from commit 8d8de718e2ebad8c5d1c95fb2c31c4d928b417ad)

BIGTOP-3585. Remove obsolete text replacement from do-component-build of Ambari. (#818)

(cherry picked from commit 8d32e32b1962414d079b078ecfbf3d1ee1e787fa)

BIGTOP-3587. Deploying Ambari to Ubuntu 18.04 and 20.04 fails on ppc64le. (#819)

(cherry picked from commit e26b148f00774accb74ee80669a7081aa273a780)

BIGTOP-3584. Fix build failure of Ambari due to missing dependency on javax.el. (#817)

(cherry picked from commit bfbfbc4a064d698e5708d462f4dbb9db5f58d5e3)

Fix zeppelin build on ppc64le - JIRA BIGTOP-3560 (#813)

(cherry picked from commit 84da675c85ccbcb7717b28ea833e4cb8ffc5a09d)

BIGTOP-3582. Logstash RPM Build Fails. (#815)

(cherry picked from commit d9f163507e69fc46acdbcf4bb12f5ca22d10e8d3)

BIGTOP-3577. HBase smoke test partially fails on ppc64le. (#814)

(cherry picked from commit 86ade65daa38946489eac5fc96d1687d62dd8acb)

Changing version to 3.0.0

BIGTOP-3580. Fix deployment failure on Debian 10 caused by the Debian 11 release. (#812)

BIGTOP-3578. Solr smoke test fails on ppc64le. (#810)

BIGTOP-3579. Spark smoke test fails on Debian 9 and Ubuntu 18.04. (#808)

BIGTOP-3576. Deploying Ambari to Fedora 33 fails on ppc64le. (#809)

BIGTOP-3575. Fix Hive rpm build warning due to missing dependency. (#806)

BIGTOP-3574. Starting Elasticsearch fails on ppc64le. (#805)

BIGTOP-3561. Fix build failure of Kibana on ppc64le. (#804)

BIGTOP-3556: Minimum chnages for upgrading Bigtop-ambari-mpack aligned with Ambari 2.7.5 (#803)

minimum changes for bumping the version

Change-Id: Ic2b8936b2f9a5ecd18120bc2144ad09387ae33ea
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3573. Tez smoke test fails on the ARM platform. (#801)

BIGTOP-3571. Ensure Hadoop and Flink are deployed in the correct order. (#799)

BIGTOP-3569. Applying GPDB Puppet manifest fails on arm64 (addendum). (#800)

BIGTOP-3570. Fix Spark smoke test failures. (#798)

BIGTOP-3569. Applying GPDB Puppet manifest fails on arm64. (#797)

BIGTOP-3568: Fix Ambari-2.7.5 RPM installation issues (#796)

Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3567. Building Zeppelin fails due to the dependency downloading problem. (#795)

BIGTOP-3565. Fix build failure of Alluxio on Cent OS 7 ppc64le. (#794)

BIGTOP-3564. Fix build failure of Flink on Cent OS 7 ppc64le. (#793)

BIGTOP-3563. Building Hadoop for CentOS 8 fails due to cmake error. (#792)

BIGTOP-3562. Building Logstash is failing due to the unavailability of keyserver. (#791)

BIGTOP-3558. Fix build failure of HBase on ppc64le. (#789)

* BIGTOP-3558. Fix build failure of HBase on ppc64le.

* bumped asciidoctorj.pdf.version to avoid OOM. improved the readability by avoiding duplicate architecture specific conditionals.

* added ppc64le patch for protoc.

BIGTOP-3559. Fix the download URL for pip2 in the GPDB deployment manifest. (#790)

BIGTOP-3540. Fix toolchain to abort if R installation failed. (#776)

BIGTOP-3555. Drop smoke-tests/odpi-runtime. (#787)

BIGTOP-3552. Add missing files to ambari-agent RPM. (#782)

BIGTOP-3551: Phantomjs caused Ambari build failure on non-x86 (#784)

After ambari is bumped to 2.7.5, it cannot build on non-x86
platforms as phantomjs prebuilt is required.
This patch disables phantomjs reference as it is only used
for testing.

Change-Id: Ie23eae41441b201b31d6ed652ac203211b9482a7
Signed-off-by: Jun He <jun.he@arm.com>

BIGTOP-3549: HBase build failure caused by protobuf in xolstice (#785)

Change-Id: I65a2b9abc1b8e5a8aad26cee189a2ccf002107a7
Signed-off-by: Jun He <jun.he@arm.com>

BIGTOP-3548: Hive build failure caused by protoc-jar-maven-plugin missing aarch64 support (#783)

This is a follow-up patch of 0cabb0791e430ec0f710371cecd20b10c9ae815c
to solve the build failure on CentOS-7.
The reason is protoc included in com.github.os72::protoc doesn't work
with legacy centos-7 libc. so we use protoc built by bigtop_toolchain
to create a local jar.

Change-Id: I22b6158997adb946237121ed509159e21d7b6b45
Signed-off-by: Jun He <jun.he@arm.com>

BIGTOP-3554: Phoenix build failure caused by protoc-2.5.0 (#786)

Change-Id: I7b153ae0c32b2d863488d3075c518e955d7cd9b2
Signed-off-by: Jun He <jun.he@arm.com>

BIGTOP-3546. Could not find org.pentaho:pentaho-aggdesigner-algorithm:5.1.5-jhyde.

(cherry picked from commit 3eaa3126a3d147d3280407265dde4ebd33eb233f)

BIGTOP-3548: Hive build failure caused by protoc-jar-maven-plugin missing aarch64 support (#781)

Hive uses protoc-jar to provide protoc executable to
process *.proto files. The protoc-jar-maven-plugin-2.5.0
doesn't include non-x86 binaries which caused build
failure on non-x86 platforms.
Backport HIVE-21939 to 3.1.2 branch.

Change-Id: I14f9ce54272a3eda1557710ab4276d999eed4a57
Signed-off-by: Jun He <jun.he@arm.com>

BIGTOP-3329. Bump ambari to v2.7.5. (#780)

* BIGTOP-3329. Bump ambari to v2.7.5.

* removed contents related to ambari-client and ambari-shell.

* addressed build failure on Ubuntu.

BIGTOP-3545. Nexus configured by docker provisioner fails to download pentaho-aggdesigner-algorithm. (#779)

* BIGTOP-3545. Nexus configured by docker provisioner fails to download pentaho-aggdesigner-algorithm.

* renamed the patch based on relevant Hive JIRA issue id.

BIGTOP-3544. Fix Spark build on Debian 9. (#778)

BIGTOP-3542. Fix build failure of Hadoop on ppc64le. (#777)

BIGTOP-3541: Smoke test on odpi-runtime failed (#775)

Co-authored-by: yoda-mon <Leona.Yoda@nttdata.com>

BIGTOP-3538. Building GPDB fails on Fedora 33. (#773)

BIGTOP-3539. Building bigtop-groovy fails on all distros and platforms. (#774)

BIGTOP-3537. Fix puppetize.sh to work with the latest CentOS 8 Docker image (addendum). (#772)

BIGTOP-3537. Fix puppetize.sh to work with the latest CentOS 8 Docker image. (#771)

BIGTOP-3457. Add libhdfspp packages to hadoop. (#770)

* BIGTOP-3457. Add libhdfspp packages to hadoop.

* addressed missing dependency information error.

* revert HADOOP-17196 to fix build failure on CentOS 7.

BIGTOP-3523. Drop Ubuntu 16.04 support. (#768)

BIGTOP-3535: Add zstd compression headers to add native lib support (#767)

BIGTOP-3485. Bump Solr to v8.7.0. (#765)

BIGTOP-3532. Fix smoke-tests for Oozie 5.2.1. (#764)

BIGTOP-3536. Fix build failure of Hadoop on Fedora 33. (#766)

BIGTOP-3531. Fix packaging of Oozie 5.2.1. (#763)

* BIGTOP-3531. Fix packaging of Oozie 5.2.1.

* set jetty version to 27.0-jre in do-component-build of hive.

* link each jars rather than whole lib directory.

* put client jars into lib-client directory then symlink from lib in order to make server/client package splitting work.

BIGTOP-3529. Drop bigtop-tomcat. (#762)

BIGTOP-3528. Bump Oozie to 5.2.1 (#761)

BIGTOP-3521. Drop QFS. (#757)

BIGTOP-3527: replace ${PWD} with ${CURDIR} in debian rules files (#760)

According to
https://lintian.debian.org/tags/debian-rules-calls-pwd.html,
CURDIR is the preferred way in a makefile (like rules) to refer to the
current directory. For some reason I got building failures when running
a Debian 10 bigtop docker imagei and trying to build the hadoop pkg,
that got solved only applying this fix.

Applied the same fix to all the debian rules files with ${PWD}.