Jenkinsfile

BIGTOP-3415. Extend timeout for Spark smoke test. (#680)

BIGTOP-3410. Fix bigtop-tomcat build failure due to downloading problem. (#677)

BIGTOP-3394: Building Logstash is failing on CentOS 8, Debian 10 and Ubuntu 18.04 (#675)

when rvm install ruby-2.4.0 under user: jenkins,
it fails to "try_sudo" to install autolibs dependencies.
Disable unnecessary autolibs installation.

Change-Id: Ib779074d2180d274dd8526166ca1bf4ed4ac3a3e
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

Add RPM scripts for making Mpack as a standalone component

Change-Id: If996dd00259f1de4dbfc5c9a1876a7d91468729a
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3376: Make Mpack as a standalone component in Bigtop

For users/Bigtopers could easily modify Mapck and make contributions to it like bugfix
and adding more services, the task is to decouple Mpack from Ambari and
put Mpack as a standalone component in Bigtop, like bigtop-packages/src/common/bigtop-mpack.

Change-Id: If1613910325763e4ef4f5299f23456c1f2a20d85
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3407. Ensure the procps package is installed in Debian 10. (#673)

BIGTOP-3408. docker-hadoop.sh generates broken site.yaml from config.yaml containing multiple components. (#674)

BIGTOP-3409: minimal staging yaml

Merge pull request #671 from guyuqi/BIGTOP-3401

BIGTOP-3401: Failed to build Centos-8 docker images for Arm64

Update the puppetlibs-4.12's modulepath into build.gradle.

Change-Id: I1aff27f304016eda580a51849de55109070b3248
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3405. Make gpg_check in docker-hadoop.sh configurable. (#672)

Fix docker provisioner on Arm64 Centos-8

Modify Puppet modulepath for puppetlabs-4.12 to
fix "Unknown function: 'any2array'" issue.
Fix 'shellcheck' warnings.

Change-Id: I9a41eabd2e5472def0b0c551ed5744e3819da939
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3401: Failed to build Centos-8 docker images for Arm64

The patch is to fix this issues.

Change-Id: I3e5f1bd864af6ada64c37657af6d8fea15c1df98
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3399. Fix bigtop-groovy build failure. (#670)

BIGTOP-3398. Fix GPDB puppet manifest to work. (#668)

BIGTOP-3396. Building Ambari is failing on Fedora 31 for ARM64. (#667)

BIGTOP-3395. Building Kafka is failing on Fedora 31 for ARM64. (#666)

Revert "BIGTOP-3382. Upgrade Flink to 1.11.1 (#665)"

This reverts commit 6f920a14401a65b072a31d5f935b3156840c6c28.

BIGTOP-3382. Upgrade Flink to 1.11.1 (#665)

BIGTOP-3391: Support GPDB on Perl 5.30+ environment (#664)

GPDB is using a special variable $[ in its Perl script,
but it was deprecated from v5.30. So it can't be built
on some distros, e.g., Fedora 31 and Ubuntu 20.04.

This patch fixes indexs used in array and substr functions.

Change-Id: I92c793243c37ce57ffe146b71a5f732488f5e4a9
Signed-off-by: Jun He <jun.he@arm.com>
Co-authored-by: Jun He <jun.he@arm.com>

BIGTOP-3392. All packaging jobs are failing on Fedora 31 for aarch64 and ppc64le. (#663)

BIGTOP-3320: Add Kibana as Bigtop component (#657)

BIGTOP-3390. Building Alluxio fails on Fedora 31. (#662)

BIGTOP-3387: Building QFS fails on CentOS 8 (#658)

BIGTOP-3389 (addendum). Extend timeout for installing R packages again. (#661)

BIGTOP-3389. Extend timeout for installing protobuf and R packages. (#660)

BIGTOP-3386: Building GPDB fails on CentOS 8 (#659)

BIGTOP-3371. Unable to build Apache Ambari on RHEL8. (#656)

BIGTOP-3380. Bump Tomcat to 8.5.57. (#655)

BIGTOP-3377. Fix deployment failures on Fedora 31 (#652)

BIGTOP-3378. Fix Livy deployment failure on Debian and Ubuntu. (#653)

BIGTOP-3379. Fix Spark build failure on CentOS 8. (#654)

BIGTOP-3375. Bump Livy to 0.7.0 and build it with Python3. (#651)

BIGTOP-3343. Add Debian 10 and Ubuntu 18.04 support to the Docker provisioner. (#634)

BIGTOP-3374. Add dependencies on the utilities provided by Bigtop to bigtop.bom. (#650)

BIGTOP-3355. [Puppet] Make GPG check for repos a configuration and default to true (#649)

BIGTOP-3319: Add Logstash as Bigtop component (#620)

BIGTOP-3372. Building Spark fails on Debian 9 and Ubuntu 16.04. (#648)

BIGTOP-3364: Leverage pip3/python3 to install setuptools

setuptools could not be installed by pip/pip2 on Ubuntu-16.04/18.04 and centos-7.
From https://packaging.python.org/tutorials/installing-packages/#requirements-for-installing-packages,
it suggests to leverage python3/pip3 to install setuptools package.

Change-Id: I42b6eb483d3f0e66637e6fc6bbd1fa6eb0a4e60c
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3236: Zeppelin smoke tests implementation (#577)

BIGTOP-3363. Drop Apex, Hama and Tajo in the 1.5.0 release. (#647)

* dropped Apex.

* dropped Hama.

* dropped Tajo.

BIGTOP-3369: RHEL8 does not have PowerTools repo but CodeReady Builder (#645)

BIGTOP-3361: No libcrypt.so.1 in Fedora-31

libcrypt.so.1 is not available in Fedora-31 both for Arm64 (both in bigtop/puppet and bigtop/slaves)
and x86_64 (just in bigtop/puppet).
It would cause some dependency issues when some pacakges need to link it such as jffi.
Add libxcrypt-compat in Bigtop_toolchain to fix it.

Change-Id: Ia3b67c17ae710f4e1d06fe3f213c02a83e99b3df
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3362. Unable to install spark-python package on CentOS8 due to lack of python package. (#644)

BIGTOP-3359. Fix failure of installing Hadoop due to conflicting .build-id entry on CentOS 8. (#642)

BIGTOP-3356: Add CentOS 8 support to the Docker provisioner (#640)

BIGTOP-3358: get_roles() function should fail if a component is not in roles_map (#641)

BIGTOP-3327: Fix Zeppelin build issue after upgrading Spark-2.4.5 (#631)

When upgrading Spark-2.4.5, Zepplin-0.7.3 is not compatible with Spark-2.4.5.
The patch is to bump Zeppelin to 0.8.2 which is the latest and stable release,
and to fix the zeppelin build issues.

Change-Id: I1e4ff8a18f80bcd99896b68a37a7206002adfd0d
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3348. Fix Hive test failures caused by NoSuchMethodError of ApplicationId.fromString. (#636)

BIGTOP-3353: hive.hwi.war.file configuration is no longer needed (#638)

BIGTOP-3347. Fix test failures of Hive ProxyFileSystem against Hadoop 2.10.0. (#633)

BIGTOP-3352: Fix qfs build error on Ubuntu 18.04

dh-python package missing.

Change-Id: I581885650361a6939dd8fd2c254f53302324ad91
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3351: Fix sqoop build error on Ubuntu 18.04

rsync package missing

Change-Id: I08fad6f4343abf4fc49d6d04c83b38ff7adb1a88
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3333. Fix Hive build after upgrading Spark to 2.4.5 (#622)

BIGTOP-3337. Remove Node.js from the toolchain. (#626)

BIGTOP-3339. Fix Ambari build failure due to using old Bower. (#628)

BIGTOP-3341. Support for Openssl 1.1.1. (#630)

BIGTOP-3340. Add Masatake Iwasaki to team list. (#629)

BIGTOP-3338. Fix `./gradlew repo` to work with GPDB and QFS on Ubuntu 18.04. (#627)

BIGTOP-3336. Fix Livy build on CentOS and Fedora (#625)

BIGTOP-3335. Fix Mahout build after upgrading Spark to 2.4.5 (#624)

BIGTOP-3334. Fix Oozie build after upgrading Spark to 2.4.5 (#623)

BIGTOP-3331: Provisioner Deployment failed on Fedora (#619)

'yum.conf' doesn't exist in Fedora-29/31 environment.
It causes format error when echo "gpgcheck=0" >> /etc/yum.conf
So the provisioner deployment failed in Fedora-29/31.

Change-Id: I798769bbb38cb2eb6fa9d178c2569cb63c22876c
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3332: Add new provisioner yaml configuration for Fedora 31

Change-Id: I9d0fe4b890906cd9e24f6010543408881f22e5aa
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3330: avoid duplicate jars between oozie and oozie-client

Add a workaround to the install_oozie.sh script to avoid duplicate
jars between oozie and oozie-client. This issue leads to override
errors when installing the oozie package on Debian (oozie-client
is among its dependencies).

Credis to Olaf Flebbe for the solution.

BIGTOP-3301. Add smoke-tests for hadoop-kms. (#617)

* BIGTOP-3301. Add smoke-tests for hadoop-kms.

* refactored variable names.

BIGTOP-3286: Bump Ignite to 2.7.6

Bump Ignite to 2.7.6 for release-1.5.0.

Change-Id: Ib03d2103d60fa0d03d549851420f442af8ddecbe
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3300. Add puppet manifests for hadoop-kms. (#615)

* BIGTOP-3300. Add puppet manifests for hadoop-kms.

* fixed role assingment, kms kerberos configs and bugs in kerberos module.

* tightened permission of kms-env.sh containing keystore password.

BIGTOP-3305. Bump Flume to 1.9.0. (#599)

BIGTOP-3325. Spark LICENSE files should be exempted by RAT check (#616)

Merge pull request #612 from iwasakims/BIGTOP-3322

BIGTOP-3234: TEZ smoke tests implementation (#568)

* BIGTOP-3234: TEZ smoke tests implementation

Add smoke tests for Bigtop Tez

Change-Id: I1963609293d6d55a0db50657611b8a17faa5e566
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>
* make the version *

Change-Id: I2e9c683c12bc84b80d26c5fef5f4b2f80847611e

* Set proper tez execution runtime in Bigtop-deploy

Change-Id: I8a41eba2c4af202a94dfc5cffead568ea6e057a1

BIGTOP-3165. Bump Spark to 2.4.5.

Signed-off-by: Kengo Seki <sekikn@apache.org>

BIGTOP-3237: Add smoke tests for YCSB

Change-Id: Id6f5cea6c01b8ada33885d403c61eebc5485f73f
Signed-off-by: Yuqi Gu <yuqi.gu@arm.com>

BIGTOP-3317: fix broken symlink for hadoop-hdfs.jar

On Debian 9 the hadoop-hdfs.jar is broken, and causes failures like
oozie sharedlib creation on HDFS. This change replaces it with
hadoop-hdfs-client.jar, that seems to work.

Apply the same fix also for rpm packages.

Signed-off-by: Olaf Flebbe <of@oflebbe.de>

BIGTOP-3312: Fix Ambari build failure as maven repo only accepts https now

Maven repo has been upgrade to accpet https access only.
The URLs defined in ambari pom.xml need to be changed to https.

Change-Id: I77ff02631800cd2ba7abfef071e903262039ee17
Signed-off-by: Jun He <jun.he@arm.com>

BIGTOP-3322. Lintian Warnings in Hadoop.

BIGTOP-3293. Add hadoop-kms package.

fixed kms misconfiguration.

added deb resources for hadoop-kms.

fixed invalid path in tomcat-deployment script.

added temporary workaround for init script not working under systemctl redirect.

runuser must be used instead of su to make init script work under systemd control.

Signed-off-by: Olaf Flebbe <of@oflebbe.de>

BIGTOP-3316: Fix HBase build failure on Arm platform

After HBase is bumped to 1.5.0, jruby patch command in build
script doesn't apply due to regex not match.
This patch refines sed command to make it more versatile to
various asciidoctorj-pdf versions.

Change-Id: Ib414ba3e7b66cf08e2080c75e1c83c563fa88224
Signed-off-by: Jun He <jun.he@arm.com>

BIGTOP-3306. Bump Giraph to 1.2.0

BIGTOP-3318: Use secure repo in bigtop-tests

This fixes a security vulnerability in this project where the `pom.xml`
files were configuring Maven to resolve dependencies over HTTP instead of
HTTPS.

Signed-off-by: Jonathan Leitschuh <Jonathan.Leitschuh@gmail.com>

BIGTOP-3308: add support for openssl 1.1.0 on Debian

In BIGTOP-2932 a patch was backported from Hadoop upstream to better
support openssl 1.1.x. Some time later a new commit was filed to address
some corner cases, but it was never backported to BigTop.

On Debian 9 openssl 1.1.0 is the default, and BigTop builds against it.
When executing the command "hadoop checknative -a" though an error shows up:

openssl: false EVP_CIPHER_CTX_cleanup

The issue is that EVP_CIPHER_CTX_cleanup was removed from openssl 1.1.0, but
OpensslCipher.c kept using it until a proper if guard was added by the
patch provided by this pull request.

In my case this issue caused Spark 2.4's RPC encryption, based on Openssl native
lib, to fail when establishing new connections between workers and AM on Yarn.
I rebuilt the hadoop deb package with the patch and tested in the Debian 9 Docker
image, the checknative util now returns correctly a positive "true" for openssl.
I also tested it with Spark 2.4 on a test Hadoop cluster and it seems working fine.

BIGTOP-3314: Fix flink build failure with upgraded hadoop version (#609)

Flink 1.6.4 failed to build with new hadoop 2.10.0. The root cause
is ApplicationReport newInstance API is changed.
Add a patch to upgrade API call in flink.

Change-Id: I5ae0f0e786a92f805feace67d5fe2facea0d9314
Signed-off-by: Jun He <jun.he@arm.com>

BIGTOP-3310: URL of maven and ant package list page is changed

bigtop_toolchain uses packages list page hosted on
https://www.apache.org/dist/ to detect latest version of maven and ant.
This url has been moved to https://downloads.apache.org/ and latest_*_binary
functions need to be updated to reflect this.
To adapt to future URL change,'-L' option is added too.

Change-Id: Ia732be3c79f5d54b3db0eaa010adbfc8ff0d7395
Signed-off-by: Jun He <jun.he@arm.com>

BIGTOP-3315. Bump Alluxio to 1.8.2. (#606)

BIGTOP-3311: Fix Alluxio build failure with upgraded hadoop version (#602)

Alluxio build failed after hadoop is bumpped to 2.10.0. The reason is
the version check regex in integration/yarn/pom.xml doesn't cover
version higher than 2.9.x.
Spring release repo is upgraded to https access.

Change-Id: I83e38af640881e8d61213d58a636af7d50393cdb
Signed-off-by: Jun He <jun.he@arm.com>

BIGTOP-3285. Bump Kafka to 2.4.0 (#601)

BIGTOP-3313: Bump solr to 6.6.6 (#604)

Bump solr to latest version of 6.x branch.
Also updated maven repo to https access

Change-Id: I7f09d72d51d6c89b172e796189261590b37444c4
Signed-off-by: Jun He <jun.he@arm.com>

BIGTOP-3302. init scripts using su do not work on recent systemd. (#600)

BIGTOP-3304. Fix build failure of Flume against hive-2.3.6. (#596)

BIGTOP-3298. Bump Phoenix to 4.15.0-HBase-1.5. (#589)

BIGTOP-3303. Fix build failure of hbase-1.5.0 on Ubuntu. (#593)

BIGTOP-3295. Fix build failure of hadoop-2.10.0 on CentOS 8 (#594)

BIGTOP-3281. Bump Tez to 0.9.2. (#591)

BIGTOP-3282. Bump Hive to 2.3.6. (#592)

BIGTOP-3299. Fix Zookeeper build to make other build success (#586)

BIGTOP-3297. Bump HBase to 1.5.0.

Signed-off-by: Youngwoo Kim <ywkim@apache.org>

BIGTOP-3296. Creating apt repository fails on Ubuntu 18.04 (#587)

BIGTOP-3287. Bump Hadoop to 2.10.0. (#578)