Merge pull request #253 from trisha-melani/GORA-691

GORA-691 Upgrade Lucene driver to latest

Merge pull request #254 from trisha-melani/GORA-692

GORA-692 Upgrade MongoDB java driver

Upgrade Cassandra driver version

Upgrade Cassandra driver version

Upgrade cassandra driver version

Fix merge conflicts

Merge branch 'master' of https://github.com/apache/gora into GORA-692

\ 1 Conflicts:
\ 1 pom.xml

GORA-692 Upgrade MongoDB java driver

GORA-691 upgrade Lucene driver

Update master-pr-build.yml

Attempting to fix Github Action for incoming pull requests as per https://github.com/actions/first-interaction/issues/10#issuecomment-910605074

Update mongodb driver version to 3.12.8

Update mongodb driver version to 3.12.8

GORA-677 Upgrade Ignite version 2.10.0

GORA-677 Upgrade Ignite version 2.10.0

GORA-664 Fix testcases / formatting (#247)

GORA-664 Add datastore for Elasticsearch (#234)

* Create basic gora-elasticsearch module

* Bump Elasticsearch version and remove redundant dependency

* Implement connection and basic schema management

- Create ElasticsearchStore class with connection initialization
- Create basic Elasticsearch types mapping
- Implement the necessary files for mapping representation (ElasticsearchMapping, ElasticsearchMappingBuilder)
- Read schema from mapping file
- Cover initialization with test

* Set up Elasticsearch client parameters

- Created gora.properties file with configuration properties
- Loaded connection parameters from configuration
- Implemented connection to Elasticsearch cluster with ElasticsearchParameters
- Covered ElasticsearchParameters with tests
- Added javadoc descriptions

* Add a property for choosing the authentication method

* Implement testing with Elasticsearch container

- Added testing dependencies
- Added GoraElasticsearchTestDriver with Elasticsearch container
- Added javadoc descriptions to GoraElasticsearchTestDriver class
- Fixed two existing tests in accordance to Elasticsearch container

* Implement some methods for schema management

Implemented schemaExists, createSchema, deleteSchema and flush methods

* Add XSD validation file for the XML mapping

* Fix XSD validation

- Relocated gora-elasticsearch.xsd file to main resources
- Covered XSD validation with test
- Added gora-elasticsearch-mapping-invalid.xml file for test

* Set up Elasticsearch container's authentication parameters

* Implement exists method

* Add comments for the connection parameters

* Fix authentication

- Set up password to Elasticsearch container properly
- Set default Elasticsearch container server’s username in gora.properties
- Added exceptions for missing arguments in authentication

* Add parameter for the XSD validation

- Defined a parameter for the XSD validation
- Added a test case for the parameter
- Made ElasticsearchStore read mapping file from properties, not configuration

* Implement some basic Input-Output operations for schema management

- Implemented delete, get and put methods
- Implemented newInstance and getUnionSchema utility methods
- Implemented basic serialization/deserialization for primitive AVRO types

* Fix createSchema method

- Added mappings while creating an Elasticsearch index
- Added getter and setter to Datatype enum

* Implement serialization/deserialization for some Avro data types

- Implemented serializeFieldValue and deserializeFieldValue methods for ARRAY, BOOLEAN, BYTES and FIXED Avro data types
- Fixed deserialization for STRING Avro data type
- Added javadoc descriptions

* Fix NPE when getting a non-existent Elasticsearch document

* Implement serialization/deserialization for MAP Avro data type

* Refactor serialization/deserialization to have better javadocs and arguments

* Implement serialization/deserialization for RECORD Avro data type

* Implement serialization/deserialization for UNION Avro data type

* Fix passed Schema argument for ARRAY deserialization

* Fix BYTES deserialization for Base64 encoded String

* Ignore testGet3UnionField test

* Add javadoc descriptions to serialization and deserialization methods

* Implement newQuery method

* Implement deleteByQuery method

* Use an Enum instead of literal strings for the Authentication Type parameter

* Use parameterized logging instead of string concatenation

* Implement execute method

* Implement getPartitions method

* Add scaling_factor support

* Remove unsupported Elasticsearch data types

* Implement Metadata Analyzer for Elasticsearch Store

* Try to fix range query by “_id” field

* Fix execute method by adding a special "gora_id" field

* Implement deleting specific fields of the records in deleteByQuery method

* Implement MapReduce test

* Fix flush method by using refresh

* Address reviewer's comments

* Add Elasticsearch specific logging dependency

GORA-676 Upgrade Aerospike 5.0.6

GORA-676 Upgrade Aerospike 5.0.6

Update mongodb driver version to 3.12.8

Delete .travis.yml

GORA-679 Fix CI build issue (#242)

* GORA-679 Fix CI build issue

Update .asf.yaml

Merge pull request #243 from lewismc/GORA-686

GORA-686 Add .asf.yaml file to Gora repository

GORA-686 Add .asf.yaml file to Gora repository

GORA-675: Perform Sonar static code analysis on Jenkins (#239)

* GORA-675: Jenkinsfile: include Code Quality
* GORA-675: Jenkinsfile: Use Java 11 SonarCloud Code Quality
* GORA-675: Exclude "jdk.tools" as dependency (transitive dependency from hadoop-annotations)

GORA-677 Upgrade Ignite version 2.10.0

GORA-676 Upgrade Aerospike 5.0.6

GORA-674: upgrade testcontainers to 1.15.2 (#236)

* GORA-674 Upgrade testcontainers to 1.15.2
* GORA-674 gora-couchdb: Upgrade Jackson to a supported release 2.12 (as recommended in testcontainers/testcontainers-java#3937)

* Github actions: Capture surefire reports
* Github actions: Remove --fail-at-end from global options
* Github actions: Always Publish Test Results

Exclude org.apache.gora.benchmark.generated package from Javadoc

Use release profile defined in project pom.xml

Remove outdated maven.restlet.org repository (not updated anymore)

Add deploy step

GORA-669 Improve tests stability on Jenkins (#233)

* Synchronize Maven options in Github Actions (`.github/workflows/master-pr-build.yml`) and Jenkins build (`Jenkinsfile`)
* Upgrade testcontainers to 1.14.3
  * Use upstream `MongoDBContainer` and remove our old `MongoContainer` implementation
  * Rework our `*LogWaitStrategy` to reduce boilerplate code
* Improve stability of our `GoraMongodbAuthenticationTestDriver` by assuring that "waiting for connections" log message if present twice (because MongoDB docker container restart daemon itself)
* Reduce log verbosity of gora-solr tests
* Enforce a global `forkedProcessTimeoutInSeconds` of 40 minutes in pom.xml

Update README.md

Update badges

GORA-668 Allow gora-benchmark to perform proper setup of MongoDB

GORA-668 Remove usage of FixedHostPortGenericContainer

FixedHostPortGenericContainer might trigger port conflicts with existing containers / daemon on Jenkins node.

For instance, error might look like "Error starting userland proxy: listen tcp 0.0.0.0:5001: bind: address already in use"

Use standard testcontainers GenericContainer with random host port selection.

Merge pull request #232 from mgov88/GORA-666

Add support for the Kudu datastore in GoraExplorer

Merge pull request #227 from mgov88/master

XSD validation for Lucene datastore

Merge pull request #231 from podorvanova/gora-557-add-support-for-mongodb

GORA-557 Add support for MongoDB to GoraExplorer

Make document types a list of Strings instead of Classes

Merge pull request #228 from mgov88/GORA-665

[GORA-665] - Add support for the Ignite datastore in GoraExplorer

Merge pull request #226 from podorvanova/revert-gora-271-changes

GORA-667 Revert GORA-271 changes in hbase-store

configure gora.xsd_validation property for XSD validation (default: false)

change return type

add datatype of the primary key

add datatype of the primary key and skip tests

Add test case for MongoStoreMetadataAnalyzer

Add collection document's types to MongoStoreCollectionMetadata

Fix log message to human readable format

Add test case for loading mappings from properties

develop Metadata analyzer for KUDU and test

Develop and test Metadata Analyzer of Ignite

Add test case for loading mappings from properties

Implement the retrieval of native information from MongoDB

Add properties for DataStoreMetadataAnalyzer

Allow to load mappings from properties instead only from files

GORA-668 Add Jenkinsfile (#229)

* GORA-668 Add Jenkinsfile
* GORA-668 Always capture surefire-reports
* GORA-668 Use IP address that test container may be reached on
* GORA-668 Use warnError to avoid failure of build
* GORA-668 Override properties (reads from gora.properties) using test container configuration (defined in #setUpClass)

Develop test for XSD validation.

Add link to XSD in the test mapping of Lucene

Use 2 space indentation, add license notice and move schema to main code

Read mapping from gora.mapping (if available) in the Ignite Store

GORA-652 Enable tests by default for redis/couchdb/aerospike datastore (#209)

* GORA-652 Remove `aerospike-with-test` profile and enable tests by default

* GORA-652 Remove `couchdb-with-test` profile and enable tests by default

* GORA-652 Remove `redis-with-test` profile and enable tests by default

* GORA-652 CouchDB: Use standard chouchdb container

* GORA-652 CouchDB: Configure exposed port and server ip

* GORA-652 CouchDB: wait for HTTP endpoint to return 200

* Update mvn opts

* Remove Wait import

XSD validation for Lucene datastore

Merge pull request #223 from podorvanova/address-use-of-deprecated-apis

GORA-430 Address use of deprecated API's

GORA-667 Revert GORA-271 changes in hbase-store that disabled the mapping loading from configuration

[GORA-655] RethinkDB datastore Implementation

[GORA-655] RethinkDB datastore Implementation

Merge pull request #224 from podorvanova/document-gora-compiler

GORA-213 Document every method in GoraCompiler

GORA-213 Document every method in GoraCompiler

GORA-430 Address use of deprecated API's

Add RethinkDB query execution

Fix container variable names

GORA-655 Initial commit for RethinkDB datastore

Merge pull request #217 from apache/revert-212-GORA-653

Revert "GORA-653 Upgrade solr java driver to version 8.5.0"

Revert "GORA-653 Upgrade solr java driver to version 8.5.0"

Merge pull request #212 from rumesh-perera/GORA-653

GORA-653 Upgrade solr java driver to version 8.5.0

Merge pull request #214 from arnenissen/mongo

Upgrade mongodb driver version

Merge pull request #216 from rumesh-perera/GORA-661

GORA-661 Upgrade CouchDB module to the latest driver.

GORA-661 Upgrade CouchDB module to the latest driver

Merge pull request #215 from rumesh-perera/GORA-660

GORA-660 upgrade hive version to the latest

GORA-660 upgrade hive version to the latest

Merge pull request #213 from arnenissen/master

Upgrade Cassandra driver version

GORA-659 Upgrade mongodb drvier version

GORA-658 Upgrade Cassandra driver version

Merge branch 'master' of https://github.com/apache/gora into GORA-653

\ 1 Conflicts:
\ 1 pom.xml

GORA-654 Upgrade Lucene store to 8.5.0 java driver

GORA-654 Upgrade Lucene store to 8.5.0 java driver

GORA-653 Upgrade solr java driver to version 8.5.0

GORA-654 Upgrade Lucene store to 8.5.0 java driver

GORA-643 Upgrade Apache Parent pom version 22

GORA-643 Upgrade Apache Parent pom version 22

GORA-643 Upgrade Apache Parent pom version 22

GORA-649 Remove usage of com.mongodb.MongoClient in test code

GORA-649 Fix issues on Javadoc comments

GORA-647 Use Testcontainers for MongoDB integration tests (#206)

* GORA-647 Update gora-mongodb/pom.xml to use testcontainers
  Remove de.flapdoodle.embed.mongo dependency
  Remove mongo.embed.version property
  Add testcontainers dependency
* GORA-647 Create MongoContainer based on GenericContainer
* GORA-647 Use MongoContainer as JUnit @ClassRule
* GORA-647 Add new test for MongoDB 4.2
* GORA-647 Refactor GoraMongodbTestDriver
  Provided container (passed in constructor) to configure Gora properties
* GORA-647 Update gora-benchmark/pom.xml to depends on gora-mongodb:test-jar
  We can import MongoContainer in GoraClientTest
  (with fixed MongoDB port on localhost)
* GORA-647 Refactor GoraMongodbAuthenticationTestDriver
  Use MongoDB docker container feature to initialize superuser (via env)
  Pass --auth and --setParameter authenticationMechanisms as commands
  Use mongo shell CLI - inside container - to execute script
* GORA-647 Avoid using String.format
* GORA-647 Generate test-jar artifact in gora-mongodb
* GORA-647 Add apache licence headers

GORA-649 Replace usage of deprecated API of MongoDB driver (#207)

* GORA-649 MongoDBResult: pass `cursor` and `size` as constructor args
* GORA-649 MongoDBQuery: Use Filters and Projections helper
* GORA-649 MongoStoreParameters: improve Javadoc
* GORA-649: Use org.bson.Document as container
* GORA-649 MongoFilterUtil: Avoid changing query passed as reference
Return an Optional<> with subfilter to apply
* GORA-649 Use Codec interface instead of DefaultDBEncoder
* GORA-649 Use new MongoDatabase and MongoCollection API
* GORA-649 Use com.mongodb.client.MongoClient interface
This interface, while similar to the existing com.mongodb.MongoClient class
in that it is a factory for com.mongodb.client.MongoDatabase instances,
does not support the legacy com.mongodb.DBCollection-based API :
http://mongodb.github.io/mongo-java-driver/3.12/whats-new/#new-entry-point
* GORA-649 MongoStore#flush is now no-op
Remove fsync handling since its deprecated upstream and should be replaced by proper WriteConcern

GORA-546 Hazelcast Jet execution engine support (#175)

* Add hazelcast jet source initial impls

* Add HazelcastJet Source Vertex with distributed execution support

* Rename class name

* Improve test cases

* Add gora-jet sink connector implementations

* Refactor code and moved into gora-jet module

* Fix Indentation to 2 spaces

* Fix injecting datastore key into jet source

* Fix JetSource data partitioning

* Add Apache License

* Remove printStackTrace

* Add java doc comments

* Fix test cases via hbase testing utilities

* Remove printStackTrace

* Resolve hazelcast dependency conflict

* Resolve issues from review

* Add LogAnalyticsJet tutorial class

* Move gora-jet module up in pom.xml

* Change snapshot version in gora-jet module

* Add license header

GORA-646 Run integration tests on MongoDB 3.6 and 4.0 (#205)

* GORE-646 Upgrade de.flapdoodle.embed.mongo to 2.2.0
* GORE-646 Add new integration tests for MongoDB 3.6 and 4.0
* GORE-646 Remove old MongoDB 2.6, 3.0 and 3.2 profiles for unsupported releases

GORA-645 Upgrade MongoDB driver version to 3.12.2

GORA-645 Upgrade MongoDB driver version to 3.12.2

Fix MongoDB Tests Fails

GORA-645 Upgrade MongoDB driver version to 3.12.2

Merge pull request #203 from madhawa-gunasekara/FixReadMe

Fix read me

Fix gitworkflow in README

Disable Gora Kudu tests (#202)

GORA-271 Make consistent across datastores the way of getting the mapping filename (#170)

* Fix mapping file name access method in hbaseStore

* Fix mapping file name access method in dynamoDBStore

* Remove unused imports

Remove unused imports

Fix mapping file name access method in dynamoDBStore