[maven-release-plugin] prepare release v2.3.0-rc1

[MINOR] Fix compilation/build warnings

Disable zinc to avoid build
Replace deprecated Timeouts with TimeLimits
Add imports for scala postfix function support

[BAHIR-182] Spark Streaming PubNub connector

Implement new connector for PubNub (https://www.pubnub.com/)
which is increasing in popularity as a cloud messaging infrastructure.

Closes #70

[BAHIR-66] Switch to Java binding for ZeroMQ

Initially, I just wanted to implement integration test for BAHIR-66.
Google pointed me to JeroMQ, which provides official ZeroMQ binding
for Java and does not require native libraries. I have decided to give
it a try, but quickly realized that akka-zeromq module (transient
dependency from current Bahir master) is not compatible with JeroMQ.
Actually Akka team also wanted to move to JeroMQ (akka/akka#13856),
but in the end decided to remove akka-zeromq project completely
(akka/akka#15864, https://www.lightbend.com/blog/akka-roadmap-update-2014).

Having in mind that akka-zeromq does not support latest version of ZeroMQ
protocol and further development may come delayed, I have decided to refactor
streaming-zeromq implementation and leverage JeroMQ. With the change we receive
various benefits, such as support for PUB-SUB and PUSH-PULL messaging patterns
and the ability to bind the socket on whatever end of communication channel
(see test cases), subscription to multiple channels, etc. JeroMQ seems pretty
reliable and reconnection is handled out-of-the-box. Actually, we could even
start the ZeroMQ subscriber trying to connect to remote socket before other
end created and bound the socket. While I tried to preserve backward compatibility
of method signatures, there was no easy way to support Akka API and business
logic that users could put there (e.g. akka.actor.ActorSystem).

Closes #71

[BAHIR-49] Sink for SQL Streaming MQTT module

Closes #68

[BAHIR-181] Add username and password in MQTTUtils for pyspark

Closes #69

[BAHIR-166] Migrate akka sql streaming source to DataSource v2 API

Migrate akka sql streaming source to DataSource v2 API.

Closes #67

[BAHIR-164][BAHIR-165] Port Mqtt sql source to datasource v2 API

Migrating Mqtt spark structured streaming connector to DatasourceV2 API.

Closes #65

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.2.2-rc1

Set Spark version to 2.2.2 preparing for release

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.1.3-rc1

Set Spark version to 2.1.3 preparing for release

Update to Scala 2.11.12

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.2.1-rc1

Set Spark version to 2.2.1 preparing for release

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.1.2-rc1

Set Spark version to 2.1.2 preparing for release

Update the Spark version to Spark 2.1.2 and update
necessary code to properly compile with the cited
spark version.

Update twitter4j-streaming to latest version 4.0.5

Closes #66

[BAHIR-162] Stop publishing MD5 hash with releases

[BAHIR-163] Enable builds using Travis CI

[BAHIR-154] Refactor sql-cloudant to use cloudant-client library

- Use java-cloudant’s executeRequest for HTTP requests against
  _all_docs endpoint
- Added HTTP 429 backoff with default settings
- Simplified caught exception and message for schema size
- Replaced scala http library with okhttp library for changes receiver
- Updated streaming CloudantReceiver class to use improved
  ChangesRowScanner method
- Replaced Play JSON with GSON library
- Updated save operation to use java-cloudant bulk API
- Use _changes feed filter option for Cloudant/CouchDB 2.x and greater

Closes #61

[BAHIR-138] Fix deprecation warning messages

- Imported ‘spark.implicits._’ to convert Spark RDD to Dataset
- Replaced deprecated `json(RDD[String])` with `json(Dataset[String])`

Closes #63

[BAHIR-137] CouchDB/Cloudant _changes feed receiver improvements

Adds batchInterval option for tuning _changes receiver’s streaming batch interval
Throw a CloudantException if the final schema for the _changes receiver is empty
Call stop method in streaming receiver when there’s an error

Closes #60

[BAHIR-104] Multi-topic MQTT DStream in Python is now a PairRDD.

Closes #55

[BAHIR-138] fix deprecated warnings in sql-cloudant

Fix warnings in DefaultSource class, and in CloudantStreaming
and CloudantStreamingSelector examples.

How

Imported spark.implicits._ to convert Spark RDD to Dataset
Replaced deprecated json(RDD[String]) with json(Dataset[String])
Improved streaming examples:

Replaced registerTempTable with preferred createOrReplaceTempView
Replaced !isEmpty with nonEmpty
Use an accessible sales database so users can run the example without any setup
Fixed error message when stopping tests by adding logic to streaming
receiver to not store documents in Spark memory when stream has stopped

Closes #59

[BAHIR-128] Improve sql-cloudant _changes receiver

This change improves the stability of _changes receiver and
fix the intermitent failing test in sql-cloudant's
CloudantChangesDFSuite.

How

Improve performance and decrease testing time by setting batch size
to 8 seconds and using seq_interval _changes feed option.
Use getResource to load json files path
Added Mike Rhodes's ChangesRowScanner for reading each _changes line
and transforming to GSON's JSON object
Added Mike Rhodes's ChangesRow representing a row in the changes feed

Closes #57

Enforce License Header in Java Sources

Add a "Header" rule to the checkstyle configuration
to enforce proper Apache license headers in Java
source files.

A similar rule ("HeaderMatchesChecker") already exists
in the scalastyle configuration.

Closes #58

[BAHIR-149] Update Cloudant dependency to release 2.11.0

[BAHIR-148] Use consistent MQTT client dependency version

Create a property to use a consistent version of the MQTT
client across all extensions based on MQTT.

For now, use org.eclipse.paho.client.mqttv3:1.1.0

[BAHIR-139] Force scala-maven-plugin to use java.version

Make sure the scala-maven-plugin uses java.version 1.8 instead of the
default source and target version which is Java 1.6.

Upgrade the scala-maven-plugin version from 3.2.2 to 3.3.1

Closes #51

[BAHIR-123] Upgrade to play-json 2.6.6

Fixed breaking API changes between play-json 2.5.x and 2.6.x
in sql-cloudant by replacing deprecated methods.

Closes #50

[MINOR] Clean any sha signature files during release process

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.2.0-rc1

[MINOR] Fix javadoc issues when performing release:prepare

The maven-javadoc-plugin was complaining with 'javadoc: error -
No public or protected classes found to document.' when running
maven release:prepare.

[MINOR] Skip Scala 2.10 when publishing release artifacts

Skip Scala 2.10 as a few of the extension dependencies are
not published in Scala 2.10 binaries.

[MINOR] Update signature algorithm in release script

[BAHIR-126] Update Akka to version 2.4.20

Address akka vulnerability: CVE-2017-5643

[MINOR] Use jekyll template to describe Spark and Scala version

[BAHIR-122][PubSub] Make "ServiceAccountCredentials" really broadcastable

Instead of requiring key files on each instance of the cluster, we read
the key file content on the driver node and store the binary in the
ServiceAccountCredentials. When the provider is called, it retrieves the
credential with the in-memory key file.

Closes #48

[BAHIR-125] Update Bahir parent pom

- Default build using JAVA 8
- Update dependencies to align with Spark 2.2.0

[BAHIR-124] Update Spark depedency to version 2.2.0

[BAHIR-110] Implement _changes API for sql-cloudant

 - support loading Cloudant data into Spark DataFrames and SQL tables
   using '_changes' endpoint
 - update README to explain the new config options and differences
   between '_all_docs' and '_changes' endpoints when loading data
 - Add test suite to test Spark DataFrames using the '_all_docs' and
   '_changes' endpoint, assert Cloudant config options, and test Spark
   SQL temporary views

Closes #45

[MINOR] Fix copy+paste typo

[BAHIR-100] Enhance MQTT connector to support byte arrays

Closes #47

[MINOR] Fix data file path in the streaming-twitter sample app

Closes #46

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.1.1-rc2

[BAHIR-88] Add release:prepare statement back to script

[BAHIR-88] Additional fixes to produce proper rc distribution

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.1.1-rc1

[BAHIR-88] Produce distributions without release temp files

[MINOR] Add checkpoint directory to git ignore configuration

[BAHIR-116] Add spark streaming connector to Google Cloud Pub/Sub

Cloases #42.

[BAHIR-120] Akka SQL Streaming build fails with Apache Spark 2.1.1

Closes #44.

[BAHIR-117] Expand filtering options for TwitterInputDStream

Adds a new method to TwitterUtils that enables users to pass
an arbitrary FilterQuery down to the TwitterReceiver.

This enables use-cases like receiving Tweets based on location,
based on handle, etc. Previously users were only able to receive
Tweets based on disjunctive keyword queries.

Closes #43.

[MINOR] Update Spark dependency to release 2.1.1

[BAHIR-102] Initial support of Cloudant Query and examples

Add optimization to use query in particular scenarios.

Closes #41.

[MINOR] Tweaking assembly naming

[MINOR] Update supported signatures

[BAHIR-101] Update sql-cloudant readme and python examples

Closes #40.

[BAHIR-97] Akka as SQL Streaming datasource.

Closes #38.

[BAHIR-101] Spark SQL datasource for CounchDB/Cloudant

Initial code supporting CounchDB/Cloudant as an Spark SQL
data source. The initial source contains the core connector,
examples, and basic documentation on the README.

Closes #39.

[MINOR] Re-add .gitignore and .gitattributes

The two files accidentally got removed in commit 826545c

[BAHIR-89] Multi topic API support for streaming MQTT

New API which accept array of MQTT topics as input
and return Tuple2<TopicName, Message> as output.

It helps consume from multiple MQTT topics with
efficient user of resources.

Closes #37.

[MINOR] Code Style Fixes for Akka Example

* mutable LinkedHashSet must be prefixed
* use interpolated string formatting

Closes #36

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.1.0-rc1

[BAHIR-87] Prepare release based on Apache Spark 2.1.0

[MINOR] Update Scaladoc in MQTTWordCount example

to match the more descriptive text from the Python example

Closes #35

[MINOR] Fix Maven artifact IDs in README.md files

The spark-shell usage examples show an underscore instead of a dash in
the Maven artifact ID ("spark-streaming_xxx" vs "spark-streaming-xxx").
Consequently Spark can not resolve these broken Maven coordinates.

  $ bin/spark-shell \
      --packages org.apache.bahir:spark-streaming_akka_2.11:2.0.2

  $ bin/spark-shell \
      --packages org.apache.bahir:spark-streaming-akka_2.11:2.0.2

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.0.2-rc3

[MINOR] Prompt for PGP passphrase when not exported

The Release plugin forks the current Maven session but does not
propagated the system properties to the forked Maven session.
Therefore we need to pass the "-Dgpg.passphrase" wrapped inside
the "-Darguments" parameter.

http://maven.apache.org/plugins/maven-gpg-plugin/usage.html

Prompt for the GPG passphrase if the GPG_PASSPHRASE environment
variable was not exported.

Closes #34

[BAHIR-84] Suppress Parquet-MR build log messages

Since Parquet-MR (1.7.0) uses Java Simple Logging (not Log4j) we
need to add a logging.properties file and add it to the configuration
of the maven-surefire-plugin and scalatest-maven-plugin.
Since Parquet-MR is logging everything to System.out despite log file
handler settings we raise the threshold to ERROR.

https://github.com/Parquet/parquet-mr/issues/390
https://github.com/Parquet/parquet-mr/issues/425

Closes #33

[MINOR] update ImportOrderChecker

Update Scalastyle configuration to group org.apache.bahir.* import statements below org.apache.spark.* imports

Closes #30

[BAHIR-83] ignore test case "Send and receive 100 messages."

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.0.2-rc2

[BAHIR-83] temporarily ignore flaky test case "Recovering offset from the last processed offset." in BasicMQTTSourceSuite

[MINOR] update NOTICE file for 2017

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.0.2-rc1

[BAHIR-82] Bump Apache Spark dependency to release 2.0.2

[BAHIR-64] add Akka streaming test (send/receive)

This PR adds the test suite AkkaStreamSuite.scala to
the streaming connector streaming-akka to test data
being sent and received.

Closes #24

[MINOR] Add build temp files to rat exclude list

[BAHIR-69] Clean build between different scala version

During release-publish, execute a mvn clean between different scala
version builds

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.0.1-rc1

[BAHIR-62] Prepare release based on Apache Spark 2.0.1

[BAHIR-61] Enable publishing release artifacts from a tag

Enable a --gitTag parameter to identify an RC tag to be used
when publishing artifacts to maven.

[BAHIR-53] Add new configuration options to MQTTInputDStream

Add new configuration options to enable secured connections and
other quality of services.

Closes #23

[HOTFIX] Fix MQTT test case configuration

[BAHIR-51] Add new configuration options to MqttStreamSource.

Add new configuration options to enable secured connections and
other quality of services.

Closes #22

[MINOR] Update readme.md with Apache Flink reference