[BAHIR-233] Add SNS message support for SQS streaming source (#97)

Added messageWrapper option for SQS streaming connector
which says if this is pure s3 notification event or it is coming
from SNS topic

Properly propagate exceptions in SQSClient (#99)

[MINOR] Updating sql-streaming sqs Readme (#98)

Fixing dependency name and adding useInstanceProfileCredentials
in the example on Readme because it is frequently used.

[MINOR] Add license headers and section titles to component README.md (#95)

[BAHIR-222] Add SQL Streaming SQS connector to Readme (#96)

[BAHIR-213] Faster S3 file Source for Structured Streaming with SQS (#91)

Using FileStreamSource to read files from a S3 bucket has problems
both in terms of costs and latency:

Latency: Listing all the files in S3 buckets every micro-batch can be both
slow and resource-intensive.

Costs: Making List API requests to S3 every micro-batch can be costly.

The solution is to use Amazon Simple Queue Service (SQS) which lets
you find new files written to S3 bucket without the need to list all the
files every micro-batch.

S3 buckets can be configured to send a notification to an Amazon SQS Queue
on Object Create / Object Delete events. For details see AWS documentation
here Configuring S3 Event Notifications

Spark can leverage this to find new files written to S3 bucket by reading
notifications from SQS queue instead of listing files every micro-batch.

This PR adds a new SQSSource which uses Amazon SQS queue to find
new files every micro-batch.

Usage

val inputDf = spark .readStream
   .format("s3-sqs")
   .schema(schema)
   .option("fileFormat", "json")
   .option("sqsUrl", "https://QUEUE_URL")
   .option("region", "us-east-1")
   .load()

[HOTFIX] Fix maven version requirement based on Travis deployment

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.4.0-rc1

Syncronyze maven version requirement with Spark 2.4

[BAHIR-172 ] Replace FileInputStream with Files.newInputStream (#92)

[BAHIR-217] Installation of Oracle JDK8 is Failing in Travis CI (#93)

Install of Oracle JDK 8 Failing in Travis CI and as a result,
build is failing for new pull requests.

We just need to add `dist: trusty` in the .travis.yml file
as mentioned in the issue below:
https://travis-ci.community/t/install-of-oracle-jdk-8-failing/3038

Add new SQL Streaming JDBC extension to Readme

Fix warnings about undeclared variables on javadoc

Fix warnings around depecrated usage of shouldRunTest

Updated sql-cloudant dependencies (#90)

Bumped java-cloudant to 2.17.0 and okhttp to 3.12.2

[BAHIR-192] Add jdbc sink for structured streaming. (#81)

[MINOR] Add support for release from branch

Update pom scm configuration

[MINOR] Handle case when no messages from pubsub

Method getReceivedMessages returns NULL when there is no message in
a subscription. Store for processing in Spark and prepare the ACK request
only when, at least, one message is ready for processing.

[BAHIR-203] Manual acknowledge PubSub messages

[BAHIR-187] Sppedup tests by reducing test data files

Reduced the JSON test files to shorten time required
to complete test cases

Closes #75

[BAHIR-141] Support GCP JSON key type as binary array

Closes #82
Closes #53

[BAHIR-107] Upgrade to Scala 2.12 and Spark 2.4.0

Closes #76

[BAHIR-175] Fix MQTT recovery after checkpoint

Closes #79

[BAHIR-65] Twitter integration test

Closes #80

[MINOR] Configure Hadoop dependency version as property

[BAHIR-183] Using HDFS for saving message for mqtt source.

Closes #78

[MINOR] Ignore flaky PubNub integration test

Closes #77

[BAHIR-186] SSL support in MQTT structured streaming

Closes #74

[BAHIR-103] New module with common utilities and test classes

Closes #73

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.3.2-rc1

Set Spark version to 2.3.2 preparing for release

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.3.1-rc1

Set Spark version to 2.3.1 preparing for release

[MINOR] Update release script usage documentation

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.3.0-rc1

[MINOR] Fix compilation/build warnings

Disable zinc to avoid build
Replace deprecated Timeouts with TimeLimits
Add imports for scala postfix function support

[BAHIR-182] Spark Streaming PubNub connector

Implement new connector for PubNub (https://www.pubnub.com/)
which is increasing in popularity as a cloud messaging infrastructure.

Closes #70

[BAHIR-66] Switch to Java binding for ZeroMQ

Initially, I just wanted to implement integration test for BAHIR-66.
Google pointed me to JeroMQ, which provides official ZeroMQ binding
for Java and does not require native libraries. I have decided to give
it a try, but quickly realized that akka-zeromq module (transient
dependency from current Bahir master) is not compatible with JeroMQ.
Actually Akka team also wanted to move to JeroMQ (akka/akka#13856),
but in the end decided to remove akka-zeromq project completely
(akka/akka#15864, https://www.lightbend.com/blog/akka-roadmap-update-2014).

Having in mind that akka-zeromq does not support latest version of ZeroMQ
protocol and further development may come delayed, I have decided to refactor
streaming-zeromq implementation and leverage JeroMQ. With the change we receive
various benefits, such as support for PUB-SUB and PUSH-PULL messaging patterns
and the ability to bind the socket on whatever end of communication channel
(see test cases), subscription to multiple channels, etc. JeroMQ seems pretty
reliable and reconnection is handled out-of-the-box. Actually, we could even
start the ZeroMQ subscriber trying to connect to remote socket before other
end created and bound the socket. While I tried to preserve backward compatibility
of method signatures, there was no easy way to support Akka API and business
logic that users could put there (e.g. akka.actor.ActorSystem).

Closes #71

[BAHIR-49] Sink for SQL Streaming MQTT module

Closes #68

[BAHIR-181] Add username and password in MQTTUtils for pyspark

Closes #69

[BAHIR-166] Migrate akka sql streaming source to DataSource v2 API

Migrate akka sql streaming source to DataSource v2 API.

Closes #67

[BAHIR-164][BAHIR-165] Port Mqtt sql source to datasource v2 API

Migrating Mqtt spark structured streaming connector to DatasourceV2 API.

Closes #65

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.2.2-rc1

Set Spark version to 2.2.2 preparing for release

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.1.3-rc1

Set Spark version to 2.1.3 preparing for release

Update to Scala 2.11.12

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.2.1-rc1

Set Spark version to 2.2.1 preparing for release

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.1.2-rc1

Set Spark version to 2.1.2 preparing for release

Update the Spark version to Spark 2.1.2 and update
necessary code to properly compile with the cited
spark version.

Update twitter4j-streaming to latest version 4.0.5

Closes #66

[BAHIR-162] Stop publishing MD5 hash with releases

[BAHIR-163] Enable builds using Travis CI

[BAHIR-154] Refactor sql-cloudant to use cloudant-client library

- Use java-cloudant’s executeRequest for HTTP requests against
  _all_docs endpoint
- Added HTTP 429 backoff with default settings
- Simplified caught exception and message for schema size
- Replaced scala http library with okhttp library for changes receiver
- Updated streaming CloudantReceiver class to use improved
  ChangesRowScanner method
- Replaced Play JSON with GSON library
- Updated save operation to use java-cloudant bulk API
- Use _changes feed filter option for Cloudant/CouchDB 2.x and greater

Closes #61

[BAHIR-138] Fix deprecation warning messages

- Imported ‘spark.implicits._’ to convert Spark RDD to Dataset
- Replaced deprecated `json(RDD[String])` with `json(Dataset[String])`

Closes #63

[BAHIR-137] CouchDB/Cloudant _changes feed receiver improvements

Adds batchInterval option for tuning _changes receiver’s streaming batch interval
Throw a CloudantException if the final schema for the _changes receiver is empty
Call stop method in streaming receiver when there’s an error

Closes #60

[BAHIR-104] Multi-topic MQTT DStream in Python is now a PairRDD.

Closes #55

[BAHIR-138] fix deprecated warnings in sql-cloudant

Fix warnings in DefaultSource class, and in CloudantStreaming
and CloudantStreamingSelector examples.

How

Imported spark.implicits._ to convert Spark RDD to Dataset
Replaced deprecated json(RDD[String]) with json(Dataset[String])
Improved streaming examples:

Replaced registerTempTable with preferred createOrReplaceTempView
Replaced !isEmpty with nonEmpty
Use an accessible sales database so users can run the example without any setup
Fixed error message when stopping tests by adding logic to streaming
receiver to not store documents in Spark memory when stream has stopped

Closes #59

[BAHIR-128] Improve sql-cloudant _changes receiver

This change improves the stability of _changes receiver and
fix the intermitent failing test in sql-cloudant's
CloudantChangesDFSuite.

How

Improve performance and decrease testing time by setting batch size
to 8 seconds and using seq_interval _changes feed option.
Use getResource to load json files path
Added Mike Rhodes's ChangesRowScanner for reading each _changes line
and transforming to GSON's JSON object
Added Mike Rhodes's ChangesRow representing a row in the changes feed

Closes #57

Enforce License Header in Java Sources

Add a "Header" rule to the checkstyle configuration
to enforce proper Apache license headers in Java
source files.

A similar rule ("HeaderMatchesChecker") already exists
in the scalastyle configuration.

Closes #58

[BAHIR-149] Update Cloudant dependency to release 2.11.0

[BAHIR-148] Use consistent MQTT client dependency version

Create a property to use a consistent version of the MQTT
client across all extensions based on MQTT.

For now, use org.eclipse.paho.client.mqttv3:1.1.0

[BAHIR-139] Force scala-maven-plugin to use java.version

Make sure the scala-maven-plugin uses java.version 1.8 instead of the
default source and target version which is Java 1.6.

Upgrade the scala-maven-plugin version from 3.2.2 to 3.3.1

Closes #51

[BAHIR-123] Upgrade to play-json 2.6.6

Fixed breaking API changes between play-json 2.5.x and 2.6.x
in sql-cloudant by replacing deprecated methods.

Closes #50

[MINOR] Clean any sha signature files during release process

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.2.0-rc1

[MINOR] Fix javadoc issues when performing release:prepare

The maven-javadoc-plugin was complaining with 'javadoc: error -
No public or protected classes found to document.' when running
maven release:prepare.

[MINOR] Skip Scala 2.10 when publishing release artifacts

Skip Scala 2.10 as a few of the extension dependencies are
not published in Scala 2.10 binaries.

[MINOR] Update signature algorithm in release script

[BAHIR-126] Update Akka to version 2.4.20

Address akka vulnerability: CVE-2017-5643

[MINOR] Use jekyll template to describe Spark and Scala version

[BAHIR-122][PubSub] Make "ServiceAccountCredentials" really broadcastable

Instead of requiring key files on each instance of the cluster, we read
the key file content on the driver node and store the binary in the
ServiceAccountCredentials. When the provider is called, it retrieves the
credential with the in-memory key file.

Closes #48

[BAHIR-125] Update Bahir parent pom

- Default build using JAVA 8
- Update dependencies to align with Spark 2.2.0

[BAHIR-124] Update Spark depedency to version 2.2.0

[BAHIR-110] Implement _changes API for sql-cloudant

 - support loading Cloudant data into Spark DataFrames and SQL tables
   using '_changes' endpoint
 - update README to explain the new config options and differences
   between '_all_docs' and '_changes' endpoints when loading data
 - Add test suite to test Spark DataFrames using the '_all_docs' and
   '_changes' endpoint, assert Cloudant config options, and test Spark
   SQL temporary views

Closes #45

[MINOR] Fix copy+paste typo

[BAHIR-100] Enhance MQTT connector to support byte arrays

Closes #47

[MINOR] Fix data file path in the streaming-twitter sample app

Closes #46

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.1.1-rc2

[BAHIR-88] Add release:prepare statement back to script

[BAHIR-88] Additional fixes to produce proper rc distribution

[maven-release-plugin] prepare for next development iteration

[maven-release-plugin] prepare release v2.1.1-rc1

[BAHIR-88] Produce distributions without release temp files

[MINOR] Add checkpoint directory to git ignore configuration

[BAHIR-116] Add spark streaming connector to Google Cloud Pub/Sub

Cloases #42.

[BAHIR-120] Akka SQL Streaming build fails with Apache Spark 2.1.1

Closes #44.

[BAHIR-117] Expand filtering options for TwitterInputDStream

Adds a new method to TwitterUtils that enables users to pass
an arbitrary FilterQuery down to the TwitterReceiver.

This enables use-cases like receiving Tweets based on location,
based on handle, etc. Previously users were only able to receive
Tweets based on disjunctive keyword queries.

Closes #43.