describe the process of executing a query (#608)

describe the query execution on a high level.

Co-authored-by: Dan Klco <klcodanr@users.noreply.github.com>
Co-authored-by: Fabrizio Fortino <fabrizio.fortino@gmail.com>
Co-authored-by: Dan Klco <klcodanr@users.noreply.github.com>

Merge pull request #609 from apache/OAK-9819

OAK-9819 : Improve Node.hasProperty/getProperty and Node.hasNode/getNode combinations

OAK-9773: DefaultSyncContext#syncMembership() compares external ids case-sensitively

Fixed log output.

OAK-9783: useInExcerpt support (#578)

* OAK-9783 - the ExcerptTest is portable

* OAK-9783 - the ExcerptTest is moved to oak-search

* OAK-9783 - Excerpt Test ported to Elastic

* OAK-9783 - enable the storing of fields in elasticsearch

* OAK-9783 - enable access to useInExcerpt in property definition

* OAK-9783 - enable the check for excerpts while making the document

* OAK-9783 - adding to store in elasticsearch source the properties to useInExcerpts

* OAK-9783 - excerpt implementation with a single excerpt value per excerpted field

* OAK-9783 - assertEventually for excerpts

* OAK-9783 - excerpt tests following full text index common test code.

* OAK-9783 - re-formating the code

* OAK-9783 - skipping relative excerpt test

* OAK-9783 - limiting excerpt fragments to 1 to match the lucene excerpt configuration

* OAK-9783 - fix duplicate ingestion of fields in an elastic document.

* OAK-9783 - using useInExcerpt instead of stored in PropertyDefiniton to keep it coherence with the rest of properties in the class.

* OAK-9783 - using addProperty instead of adding addToStoreInSource.

* OAK-9783 - reverting using useInExcerpt instead of stored in PropertyDefiniton to avoid deprecation steps

* OAK-9783 - Removing redundant null init before try-catch

* Update oak-search/src/test/java/org/apache/jackrabbit/oak/plugins/index/ExcerptTest.java

Co-authored-by: Fabrizio Fortino <fabrizio.fortino@gmail.com>
* Update oak-search-elastic/src/main/java/org/apache/jackrabbit/oak/plugins/index/elastic/query/async/ElasticResultRowAsyncIterator.java

Co-authored-by: Fabrizio Fortino <fabrizio.fortino@gmail.com>
* Update oak-search-elastic/src/main/java/org/apache/jackrabbit/oak/plugins/index/elastic/query/async/ElasticResultRowAsyncIterator.java

Co-authored-by: Fabrizio Fortino <fabrizio.fortino@gmail.com>
* OAK-9783 - Avoid full java package imports, better class by class.

* OAK-9783 - Avoid full java package imports, better class by class.

* OAK-9783 - Check useInExcerpts as part of the indexProperty()

* OAK-9783 - reverting using useInExcerpt instead of stored in PropertyDefiniton to avoid deprecation steps

* excerpt: simplified logic, removing support for regexp

* excerpt: simplified logic, removing support for regexp

* excerpt: simplified logic, removing support for regexp

* excerpt: simplified logic, removing support for regexp

* excerpt: simplified logic, removing support for regexp

* excerpt: improved query logic

* doc: useInExcerpt usage

* minor improvement in ElasticRequestHandler.highlight

Co-authored-by: AngelaFabregues <angela.fabregues@netcentric.biz>
Co-authored-by: Fabrizio Fortino <fabrizio.fortino@gmail.com>

OAK-9819 : Improve Node.hasProperty/getProperty and Node.hasNode/getNode combinations (review finding)

OAK-9814: Improvements in NodeState/VersionCopier for visibility of p… (#603)

- Added an optional consumer to be notified of any added paths
- Create a new preserveOnTarget which does not delete any sub-paths on target
- Rename consumer variable to make clear intention of consuming added paths only

OAK-9819 : Improve Node.hasProperty/getProperty and Node.hasNode/getNode combinations

Merge pull request #602 from amit-jain/OAK-9813

OAK-9813: [oak-run-commons] LoggingInitializer shutdownLogging should…

Merge pull request #606 from blackfor/trunk

OAK-9816: add max rows read data to table

OAK-9799 : Optional validator to mark external users/groups as protected (#604)

* OAK-9799 : Optional validator to mark external users/groups as protected

* OAK-9799 : Optional validator to mark external users/groups as protected (review findings from jose antonio insua)

OAK-9816 : pr feedback

OAK-9816: add max rows read data to table

OAK-301: Document Oak - fix formatting

OAK-301: Document Oak - Elastic supports function indexes since OAK-9727

OAK-301: Document Oak - Lucene indexes do support sync + unique since OAK-6535

Merge pull request #566 from klcodanr/OAK-9767

OAK-9767 - Support Ints / Longs

Merge pull request #590 from mbaedke/trunk

OAK-9773: DefaultSyncContext#syncMembership() compares external ids c…

OAK-9813: [oak-run-commons] LoggingInitializer shutdownLogging should not shut down if not initialized

Ignore if system prop logback.configurationFile set

Merge branch 'apache:trunk' into trunk

OAK-9812 : TokenConfigurationImpl does not define Context

Merge pull request #594 from joerghoh/OAK-9801-better-NPEs

OAK-9801 improve error messages

OAK-9788: Add an index property to disable similarity for lucene index (#589)

Introduced index definition properties, indexSimilarityBinaries and indexSimilarityStrings to enable/disable similarity indexing for binaries and strings respectively.

OAK-9802: Configuration to enable/disable updating elastic indexes (#595)

Introduced system property "oak.index.elastic.writer.disable" to disable elastic index update from instance.

OAK-9758: fix test fail on Windows

OAK-9758: fix test fail on Windows

OAK-9758: fix test fail on Windows

OAK-9809: oak-run - update Jetty version for Servlet 3.1 API compliance

OAK-9809: oak-run - update Jetty version for Servlet 3.1 API compliance

Merge pull request #593 from mreutegg/OAK-9797

OAK-9797: Direct access blob cache override breaks metrics and monito…

Merge pull request #596 from apache/OAK-9804

OAK-9804 Flaky unit test FlatFileStoreTest.resumePreviousUnfinishedDownload()

OAK-9797: Direct access blob cache override breaks metrics and monitoring

OAK-9797: Direct access blob cache override breaks metrics and monito…

Suggestion by Rishabh

Co-authored-by: Rishabh Kumar <rishabhdaim1991@gmail.com>

OAK-9804 Flaky unit test FlatFileStoreTest.resumePreviousUnfinishedDownload()

OAK-9798 : fix import in CompositePermissionProviderOrTest. accidential use of sun.reflect.generics.reflectiveObjects.NotImplementedException

drop guava, message more descriptive

some reformatting

OAK-9801 provide better error messages in case a null value is provided as parameter

OAK-9797: Direct access blob cache override breaks metrics and monitoring

releng: use newest maven-fluido-skin 1.11.0 (#591)

enable Google Site search
update m-site-p to 3.12.0
enable breadcrumb navigation and edit button

Merge pull request #560 from rishabhdaim/OAK-9757

OAK-9757 : increased node name limit for mongo 4.2 version

OAK-9773: DefaultSyncContext#syncMembership() compares external ids case-sensitively.

Added logging.

OAK-9798 : Inconsistent handling of supported permissions in CompositePermissionProviderOr

OAK-9773: DefaultSyncContext#syncMembership() compares external ids case-sensitively.

Added test case.

OAK-9773: DefaultSyncContext#syncMembership() compares external ids case-sensitively.

Fixed.

ElasticResultRowAsyncIterator should not limit result set to 10k results (#588)

* fix: ElasticResultRowAsyncIterator should not limit result set to 10k results

* minor: improve readability

* TRACK_TOTAL_HITS_DEFAULT back to 10k

OAK-9795 : Best practices: explicitly discourage ac setup for anonymous

OAK-9793 : AbstractRestrictionProvider: validation to respect aggregation for unsupported paths

OAK-9791 : Missing check for restriction node being present

OAK-301: Document Oak - improved examples and formatting

OAK-9614 : Document best pratices for Oak Access Control Management and Permission Evaluation (typos, links)

OAK-9786 : Document changes for OAK-9782

Merge pull request #574 from apache/OAK-9775

OAK-9775 : ACEs with unsupported restrictions must be cleared upon editing, OAK-9782 : CompositeRestrictionProvider must call validate on aggregated providers

OAK-9757 : Override DocumentStore.getNodeNameLimit in wrapper classes

Disable geoIpDownloader in ES tests (#579)

* bump es to 7.17.3

* minor: missing license

OAK-9782 : CompositeRestrictionProvider must call validate on aggregated providers

Merge pull request #535 from klcodanr/OAK-9740

OAK-9740 - Offset / Limit Option

Revert "Fixing OAK-9767 - Only checking if the count is >0 for including a term in getFieldTerms"

This reverts commit ecf02615c92fc89197fd936482da266bf0c0f7ba.

Fixing OAK-9767 - Only checking if the count is >0 for including a term in getFieldTerms

Excluding test verification files from license checks

OAK-9778 : Improve exception message with OakAccessControl0013 regarding ACE duplicates

Merge branch 'trunk' of https://github.com/apache/jackrabbit-oak into trunk

OAK-9779 : PermissionConstants.PERMISSION_PROPERTY_NAMES does not list rep:isAllow

OAK-9686: replace Elastic RHLC with Elastic Java Client (#568) (Patch submitted by Angela Fabregues + Fabrizio Fortinio)

* OAK-9686 - Rename the old Elasticsearch client variables

* OAK-9686 - Start the migration to the new Elasticsearch Client

* OAK-9686 - Increase max jar size for run elastic

* OAK-9686 - Migration to the new Elasticsearch Client

* OAK-9686 - Elasticsearch client renaming.

* OAK-9686 - Enabling async client

* OAK-9686 - ElasticIndexCleaner migrated to the new client.

* OAK-9686 - ElasticIndexHelper migrated to the new client (except for elasticknn).

* OAK-9686 - Back to the high level client for ElasticIndexHelper.

* OAK-9686 - migration to 7.17.0

* fix compilation error in oak-benchmarks-elastic

* fix similarity queries

* fix facet/aggregations

* OAK-9686 - the collate source is included in the query.

* OAK-9686 - Support requests on more than an Elasticsearch index

* OAK-9686 - Fixing text field location in suggest query.

* OAK-9686 - Refactoring aggregations

* OAK-9686 - Removing unnecessary overwrittes.

* (minor) improved formatting of ElasticRequestHandler fixed code

* fixed similarity queries

* use java client for ElasticIndexStatisticsTest

* fixed range queries

* fixed ElasticPropertyIndexTest

* fixed baseQuery logic

* remove XContentBuilder from ElasticRequestHandler

* (minor) style improvements in similarityQuery

* ElasticFunctionIndexCommonTest: reintroduced needed overrides

* use the same version for both es clients (7.17.2)

* fix suggest queries

* use UTF-8 to serialize SearchRequest to strings (fixes a couple of test failures)

* ElasticIndexHelper2: added details on why we cannot still migrate to the new client

* get rid of operations using the low level client

* (minor) removed unused code + small improvements

* OAK-9686 - Fixing collate boolean query.

* OAK-9686 - Fixing spellchecker

* OAK-9686 - Executes a single elasticsearch connection to use for all the tests.

* fix plugin version (fixes similarity tests) + minor code style improvements

* improved spellcheck

* bump es to 7.17.3

* fix size history comment in oak-run-elastic pom

* ElasticIndexWriter: reduce dependency from RHLC

* last touches: cleanup + adjusted formatting

* pom: remove obsolete imported packages

* improved connection handling

* pom: fine tune dependencies

* pom: fix import packages

* OAK-9686 - improve exception throw

* OAK-9686 - fix potential null pointer exception

* OAK-9686 - use a single jackson-databind version

* OAK-9686 - skip test when a single Elasticsearch is reused among test executions

* OAK-9686 - fix test for the use of a single Elasticsearch among test executions

* fix a documentation link

Co-authored-by: Angela Fabregues <angela.fabregues@netcentric.biz>
Co-authored-by: fabriziofortino <fabrizio.fortino@gmail.com>

OAK-9775 : ACEs with unsupported restrictions must be cleared upon editing

Merge pull request #1 from mreutegg/OAK-9757-2

OAK-9757: increased node name limit for mongo 4.2 version

Merge branch 'OAK-9757' into OAK-9757-2

Revert "OAK-9757 : used MongoStatus.isVersion api to check node name limit"

This reverts commit 20803aae0b9aa1f28081de27fca2d15bce26da01.

Merge branch 'trunk' into OAK-9767

Merge branch 'trunk' into OAK-9740

Addressing PR feedback

OAK-9757 : used MongoStatus.isVersion api to check node name limit

OAK-9757 : removed un-necessary junit

OAK-9757 : move isNodeNameLong check to addNode api of commitbuilder

OAK-9757 : fixed issue where size limit would come wrong for version less than 4.2.0

OAK-9757 : fixed mongo util errors

OAK-9757 : removed mongoversion class to use serverversion and changed documentstore api name

OAK-9757 : moved the node name length check to documentnodestate while creating/adding new node

OAK-9757 : created new api in documentstore to get size limit for node name

OAK-9757 : increased node name limit for mongo 4.2 version

OAK-9757: increased node name limit for mongo 4.2 version

Use MongoStatus.isVersion() to decide on node name limit

OAK-9771: IndexWriter config should be customisable from oak (#572)

* OAK-9771: IndexWriter config should be customisable from oak

OAK-9775 : ACEs with unsupported restrictions must be cleared upon editing

Merge pull request #573 from apache/OAK-9772

OAK-9772 Elastic and Lucene tokenizer difference

add full test common tests (run on both ES and lucene)

OAK-9772 Elastic and Lucene tokenizer difference (docs)

Merge pull request #571 from apache/OAK-9614

OAK-9614 : Document best pratices for Oak Access Control Management and Permission Evaluation

OAK-9772 Elastic and Lucene tokenizer difference (rename)

OAK-9772 Elastic and Lucene tokenizer difference (rename)

OAK-9614 : Document best pratices for Oak Access Control Management and Permission Evaluation (incorporate feedback from joerg hoh)

OAK-9614 : Document best pratices for Oak Access Control Management and Permission Evaluation (incorporate feedback from joerg hoh)

Update oak-doc/src/site/markdown/security/authorization/bestpractices.md

Co-authored-by: Jörg Hoh <joerghoh@users.noreply.github.com>

Update oak-doc/src/site/markdown/security/authorization/bestpractices.md

Co-authored-by: Jörg Hoh <joerghoh@users.noreply.github.com>

Update oak-doc/src/site/markdown/security/authorization/bestpractices.md

Co-authored-by: Jörg Hoh <joerghoh@users.noreply.github.com>

Update oak-doc/src/site/markdown/security/authorization/bestpractices.md

Co-authored-by: Jörg Hoh <joerghoh@users.noreply.github.com>

Update oak-doc/src/site/markdown/security/authorization/bestpractices.md

Co-authored-by: Jörg Hoh <joerghoh@users.noreply.github.com>

Update oak-doc/src/site/markdown/security/authorization/bestpractices.md

Co-authored-by: Jörg Hoh <joerghoh@users.noreply.github.com>

Update oak-doc/src/site/markdown/security/authorization/bestpractices.md

Co-authored-by: Jörg Hoh <joerghoh@users.noreply.github.com>

OAK-9614 : Document best pratices for Oak Access Control Management and Permission Evaluation (incorporate feedback from lars krapf)

OAK-9772 Elastic and Lucene tokenizer difference

OAK-9614 : Document best pratices for Oak Access Control Management and Permission Evaluation

OAK-9614 : Document best pratices for Oak Access Control Management and Permission Evaluation (incorporate feedback from joerg hoh)