Prepare for Nutch 1.18 release

Prepare for Nutch 1.18 release

NUTCH-2841 Upgrade xercesImpl dependency (#563)

* NUTCH-2841 Upgrade xercesImpl dependency

NUTCH-2837 Update multiple dependencies (#560)

* NUTCH-2837 Upgrade Slf4j dependencies

* NUTCH-2837 Update multiple dependencies

NUTCH-2836 Upgrade various commons dependencies (#559)

Add possibility to setup deduplication group mode in crawl script (#557)

NUTCH-2835 Upgrade commons-jexl from 2 --> 3 (#558)

Merge pull request #556 from sebastian-nagel/tika-1.25

NUTCH-2833 Upgrade to Tika 1.25

NUTCH-2833 Upgrade to Tika 1.25

Merge pull request #554 from sebastian-nagel/NUTCH-2582-set-mime-types-reader-pool-size

NUTCH-2582 Set pool size of XML SAX parsers used for MIME detection in Tika

NUTCH-2809 Upgrade any23 plugin dependency to 2.4 (#553)

* NUTCH-2809 Upgrade any23 plugin dependency to 2.4

Merge pull request #555 from sebastian-nagel/NUTCH-2829-ant-clean-cache

NUTCH-2829 Fix ant target "clean-cache"

NUTCH-2829 Fix ant target "clean-cache"
- make target "clean-cache" depend on "ivy-init" so that
  ivy-related resources are defined

NUTCH-2582 Set pool size of XML SAX parsers used for MIME detection in Tika
- add method in MimeUtil to set MimeTypesReader pool size
- actually adjust pool size to number of Fetcher threads / 2
  (minimum pool size is 10 in case there are less than 20 Fetcher threads)
- double pool size (10 -> 20) of Tika XMLReaderUtils in tika-config.xml

Merge pull request #552 from sebastian-nagel/NUTCH-2824

NUTCH-2824 urlnormalizer-basic to unescape percent-encoded host names

Merge pull request #551 from sebastian-nagel/NUTCH-2823

NUTCH-2823 IllegalStateException in IndexWriters.describe() when vali…

NUTCH-2824 urlnormalizer-basic to unescape percent-encoded host names

- add unit tests to verify that a declared MalformedURLException is thrown
  on host names containing illegal percent-encoded sequences and
  any (undeclared) runtime exceptions are caught and rethrown

NUTCH-2824 urlnormalizer-basic to unescape percent-encoded host names

Merge pull request #549 from sebastian-nagel/NUTCH-2818-ant-rat-task

NUTCH-2818 Fix Apache Rat task to check sources for license headers

Merge pull request #546 from sebastian-nagel/NUTCH-2814-http-date-format-time-zone

NUTCH-2814 HttpDateFormat's internal time zone may change after parsing a date

NUTCH-2823 IllegalStateException in IndexWriters.describe() when validating url param for SolrIndexer

- when calculating required column width for first (param names) and
  third column (param values): verify that none of these columns occupy
  more than one third of the table width, otherwise reset width to 1/3

NUTCH-2697 Upgrade Ivy to fix the issue of an unset packaging.type property
NUTCH-2671 Upgrade ant ivy library
- upgrade Ivy (2.4.0 -> 2.5.0)
- upgrade all plugins build-ivy.xml to use the ivy jar 2.5.0 installed in
  $NUTCH_HOME/ivy/ for preparing lists of dependencies registered in plugin.xml

Merge branch 'derhecht-patch-2', closes #545

Includes solution for (closes #544)
NUTCH-2813 MoreIndexingFilter - can't parse erroneous date - 2019-07-03T10:28:14

NUTCH-2817 Avoid check for equality of URL path and file part using ==/!=
- replace check whether URL path and file are identical
  by check whether URL has a query
- clean up code and improve log messages

NUTCH-2816 Add Spotbugs target to ant build
- called on-demand as ant target "spotbugs"
- creates spotbugs report ("build/nutch-spotbugs.html") covering Nutch core and plugins

NUTCH-2811 : Setup Github workflows for prs (#543)

* NUTCH-2811 : Setup Github workflows for prs

Merging to setup the git workflows.

NUTCH-2810 FreeGenerator to actually apply configured number of fetch lists

[NUTCH-2801] RobotsRulesParser command-line checker to use http.robots.agents as fall-back
- clarify comment regarding bypassing the confidence check for a non-empty http.agent.name

[NUTCH-2801] RobotsRulesParser command-line checker to use http.robots.agents as fall-back
- if no agent names are given as command-line arguments use values of
  http.agent.name and http.robots.agents as agent names to be checked
- update command-line help

NUTCH-1190 MoreIndexingFilter: move data formats used to parse "lastModified" to a config file

NUTCH-2799 Add .asf.yaml file
- update pull request template regarding Jira linking:
  issue id should be in square brackets (`[NUTCH-XXXX]`)

NUTCH-2799 Add .asf.yaml file
- add project description in one sentence
- add github topics
- set github mailing list notifications as configured before

NUTCH-2805: Rename plugin urlfilter-domainblacklist (#540)

NUTCH-2805: Rename plugin urlfilter-domainblacklist

NUTCH-2782: protocol-http / lib-http: support TLSv1.3

[NUTCH-2730] SitemapProcessor to treat sitemap URLs as Set instead of List
- sitemap links from robots.txt are treated as set by crawler-commons
  (since crawler-commons 1.1)
- sitemaps referenced in sitemap index are deduplicated

[NUTCH-2796] Upgrade to crawler-commons 1.1

Prepare for new development after release of 1.17
- bump version number (1.17-SNAPSHOT -> 1.18-SNAPSHOT)
- add 1.17 changes / release notes
- update links to Hadoop and Solr API docs
- update current year in API docs etc.

NUTCH-2794 Add additional ciphers to HTTP base's default cipher suite

NUTCH-2791 Handle GCS URLs in stats commands

- Handle Google Cloud Storage URLs as crawldb inputs in domainstats,
  protocolstats and crawlcomplete commands.
- Correctly resolve numReducers in protocolstats.
- Align crawlcomplete -inputDirs behaviour on the other commands: expect
  directories containing "current", not "crawldb/current".

NUTCH-2789 Documentation: update links to point to cwiki

NUTCH-2789 Docker README: update links to point to cwiki

NUTCH-2788 ParseData: improve presentation of Metadata in method toString()
- switch to multi-line presentation of Metadata in ParseData::toString
- default implementation of Metadata::toString is still single-line
- replace StringBuffer by StringBuilder in modified methods

NUTCH-2787 CrawlDb JSON dump does not export metadata primitive data types correctly
- add JsonSerializer to write common Writable types (null, boolean, numbers)
- remaining "unknown" Writables are written after calling toString()

NUTCH-2790 indexer-csv: escape field leading quote character

Before the change, the leading quote of a field value like '"value'
would be left unescaped.

NUTCH-2496 Speed up link inversion step in crawling script

- disable URL filtering and normalizing when calling invertlinks
  in bin/crawl

- add note that the steps invertlinks, dedup, index could also
  be done outside the loop over all segments created in the loop
  iterations

- move webgraph construction (commented out anyway) outside the
  loop because it's done over all available segments

NUTCH-2720 ROBOTS metatag ignored when capitalized
- move string "robots" to constant in metadata.Nutch
- make string lowercase not depend on system locale

NUTCH-2720 ROBOTS metatag ignored when capitalized

- parse-tika: add lowercase "robots" to metadata

NUTCH-2419 Some URL filters and normalizers do not respect command-line override for rule file

- simplify selection of rule file (from property or attribute in plugin.xml)

NUTCH-2419 Some URL filters and normalizers do not respect command-line override for rule file

- fix urlfilter-domain, urlfilter-domainblacklist, urlfilter-prefix
  and urlfilter-suffix

- always prefer the configured rule file (urlfilter.domain.file,
  urlfilter.domainblacklist.file, urlfilter.prefix.file,
  urlfilter.suffix.file) over the file defined in plugin.xml

- remove constructors taking rule file as argument
  (used only in unit tests and now obsolete because we can override the
   rule file via configuration)

- update Java API doc comments

NUTCH-1945 Test for XLSX parser
- add Tika unit test for XLSX files
- bundle instance variables and utility methods in class TikaParserTest
- clean up javadoc comments

NUTCH-2758 Add plugin READMEs to binary release packages

NUTCH-2753 Add -listen option to command-line help of CrawlDbReader and LinkDbReader

NUTCH-2002 parse and index checkers to check robots.txt
- applied Julien's patch to recent code base
- also check redirects whether they are allowed
- add command-line parameter `-checkRobotsTxt` enabling this check

NUTCH-2785 FreeGenerator: command-line option to define number of generated fetch lists
- add command-line option `-numFetchers` to FreeGenerator
- in local mode: generate one single fetch list

NUTCH-1194 Generator: CrawlDB lock should be released earlier
- release CrawlDb lock after select step, in case, generated items
  are not marked in CrawlDb (generate.update.crawldb is false)

NUTCH-2434 Add methods to reset parameters HTMLMetaTags
(apply patch contributed by Markus)

NUTCH-2743 Add list of Nutch properties (nutch-default.xml) to documentation
- modify ant build.xml to copy nutch-default.xml into docs/api/resources/
- adapt XSLT table layout
- remove obsolete nutch-conf.xsl
- fix typos and normalize spelling in nutch-default.xml

NUTCH-2818 Fix Apache Rat task to check sources for license headers
- automatize download of Apache Rat jar file
- write report to build/apache-rat-report.txt

Merge pull request #548 from sebastian-nagel/NUTCH-2817-spotbugs-object-equality

[NUTCH-2817] Avoid check for equality of URL path and file part using == / !=

Merge pull request #547 from sebastian-nagel/NUTCH-2816-add-spotbugs-ant-target

[NUTCH-2816] Add Spotbugs target to ant build

NUTCH-2817 Avoid check for equality of URL path and file part using ==/!=
- replace check whether URL path and file are identical
  by check whether URL has a query
- clean up code and improve log messages

NUTCH-2816 Add Spotbugs target to ant build
- called on-demand as ant target "spotbugs"
- creates spotbugs report ("build/nutch-spotbugs.html") covering Nutch core and plugins

NUTCH-2814 HttpDateFormat's internal time zone may change after parsing a date
- reset time zone to GMT after parsing a date

Merge pull request #542 from sebastian-nagel/NUTCH-2810

NUTCH-2810 FreeGenerator to actually apply configured number of fetch lists

Merge pull request #537 from sebastian-nagel/NUTCH-2801-robots-checker

[NUTCH-2801] RobotsRulesParser command-line checker to use http.robots.agents as fall-back

NUTCH-2811 : Setup Github workflows for prs (#543)

* NUTCH-2811 : Setup Github workflows for prs

Merging to setup the git workflows.

Merge pull request #536 from sebastian-nagel/NUTCH-2799-asf-yaml-file

[NUTCH-2799] Add .asf.yaml file

NUTCH-2805: Rename plugin urlfilter-domainblacklist (#540)

NUTCH-2805: Rename plugin urlfilter-domainblacklist

NUTCH-2810 FreeGenerator to actually apply configured number of fetch lists

Merge pull request #538 from balashashanka/NUTCH-2782

NUTCH-2782: protocol-http / lib-http: support TLSv1.3

Merge pull request #535 from sebastian-nagel/NUTCH-2796-NUTCH-2730

[NUTCH-2796] [NUTCH-2730] Update crawler-commons 1.1, SitemapProcessor to treat sitemap URLs as Set instead of List

NUTCH-2782: protocol-http / lib-http: support TLSv1.3

[NUTCH-2801] RobotsRulesParser command-line checker to use http.robots.agents as fall-back
- clarify comment regarding bypassing the confidence check for a non-empty http.agent.name

NUTCH-2799 Add .asf.yaml file
- update pull request template regarding Jira linking:
  issue id should be in square brackets (`[NUTCH-XXXX]`)

[NUTCH-2801] RobotsRulesParser command-line checker to use http.robots.agents as fall-back
- if no agent names are given as command-line arguments use values of
  http.agent.name and http.robots.agents as agent names to be checked
- update command-line help

NUTCH-2799 Add .asf.yaml file
- add project description in one sentence
- add github topics
- set github mailing list notifications as configured before

[NUTCH-2730] SitemapProcessor to treat sitemap URLs as Set instead of List
- sitemap links from robots.txt are treated as set by crawler-commons
  (since crawler-commons 1.1)
- sitemaps referenced in sitemap index are deduplicated

[NUTCH-2796] Upgrade to crawler-commons 1.1

Prepare for new development after release of 1.17
- bump version number (1.17-SNAPSHOT -> 1.18-SNAPSHOT)
- add 1.17 changes / release notes
- update links to Hadoop and Solr API docs
- update current year in API docs etc.

NUTCH-2794 Add additional ciphers to HTTP base's default cipher suite

Merge pull request #533 from pmezard/NUTCH-2791

NUTCH-2791 Handle GCS URLs in stats commands

NUTCH-2791 Handle GCS URLs in stats commands

- Handle Google Cloud Storage URLs as crawldb inputs in domainstats,
  protocolstats and crawlcomplete commands.
- Correctly resolve numReducers in protocolstats.
- Align crawlcomplete -inputDirs behaviour on the other commands: expect
  directories containing "current", not "crawldb/current".

Merge pull request #530 from sebastian-nagel/NUTCH-2789

NUTCH-2789 Documentation: update links to point to cwiki

Merge pull request #529 from sebastian-nagel/NUTCH-2788

NUTCH-2788 ParseData: improve presentation of Metadata in method toString()

Merge pull request #531 from sebastian-nagel/NUTCH-2787

NUTCH-2787 CrawlDb JSON dump does not export metadata primitive data types correctly

Merge pull request #532 from pmezard/NUTCH-2790

NUTCH-2790 indexer-csv: escape field leading quote character

NUTCH-2790 indexer-csv: escape field leading quote character

Before the change, the leading quote of a field value like '"value'
would be left unescaped.

NUTCH-2787 CrawlDb JSON dump does not export metadata primitive data types correctly
- add JsonSerializer to write common Writable types (null, boolean, numbers)
- remaining "unknown" Writables are written after calling toString()

Merge pull request #527 from sebastian-nagel/NUTCH-2496

NUTCH-2496 Speed up link inversion step in crawling script

Merge pull request #528 from sebastian-nagel/NUTCH-2720

NUTCH-2720 ROBOTS metatag ignored when capitalized

NUTCH-2789 Documentation: update links to point to cwiki

NUTCH-2789 Docker README: update links to point to cwiki

NUTCH-2788 ParseData: improve presentation of Metadata in method toString()
- switch to multi-line presentation of Metadata in ParseData::toString
- default implementation of Metadata::toString is still single-line
- replace StringBuffer by StringBuilder in modified methods

NUTCH-2720 ROBOTS metatag ignored when capitalized
- move string "robots" to constant in metadata.Nutch
- make string lowercase not depend on system locale

NUTCH-2720 ROBOTS metatag ignored when capitalized

- parse-tika: add lowercase "robots" to metadata

NUTCH-2496 Speed up link inversion step in crawling script

- disable URL filtering and normalizing when calling invertlinks
  in bin/crawl

- add note that the steps invertlinks, dedup, index could also
  be done outside the loop over all segments created in the loop
  iterations

- move webgraph construction (commented out anyway) outside the
  loop because it's done over all available segments

Merge pull request #526 from sebastian-nagel/NUTCH-2419-urlfilter-rule-file-precedence

NUTCH-2419 Some URL filters and normalizers do not respect command-line override for rule file

NUTCH-2419 Some URL filters and normalizers do not respect command-line override for rule file

- simplify selection of rule file (from property or attribute in plugin.xml)

Merge pull request #525 from sebastian-nagel/NUTCH-1945

NUTCH-1945 Test for XLSX parser

NUTCH-2419 Some URL filters and normalizers do not respect command-line override for rule file

- fix urlfilter-domain, urlfilter-domainblacklist, urlfilter-prefix
  and urlfilter-suffix

- always prefer the configured rule file (urlfilter.domain.file,
  urlfilter.domainblacklist.file, urlfilter.prefix.file,
  urlfilter.suffix.file) over the file defined in plugin.xml

- remove constructors taking rule file as argument
  (used only in unit tests and now obsolete because we can override the
   rule file via configuration)

- update Java API doc comments