fix tarball build

Merge remote-tracking branch 'github/pr/137'

Merge branch '2938-use-ddoc-cache-in-filtered-changes'

Use ddoc_cache and new fetch rpc format

Send a real EventSource event for heartbeat

Bring back 845bf7529a3bc565d6446a7fa6cc5fd1a140653e

The EventSource connection can get stuck (in TCP half-open state*) and there's no way
for the client to detect that. This commit changes the way heartbeat is sent, instead of
sending a newline character, it sends an empty event of type heartbeat:

    event: heartbeat
    data:

This event doesn't have an id: field, so the client will retain its latest Last-Event-ID state.

This doesn't change the expectations of clients that used EventSource till now, because they
subscribe to the 'message' event type. To get the 'heartbeat' events a client will need to
explicitly subscribe to it:

    source.addEventListener('heartbeat', function () { /* cancel a timer that would otherwise reconnect the source */ });

* this can happen when you suspend your laptop, on flaky internet connection, ADSL reconnect,
bad wifi signals, bad routers etc. Pretty often in a typical internet usage nowadays.

Remove lager and goldrush from default list of apps started by test_util:start_couch/2

Also, create a common list of default apps that is started and stopped consistently

COUCHDB-2872

Rewrite via query server

COUCHDB-2874

Expose couch_js_functions to other apps

COUCHDB-2082

Fix syntax

Find curl.h on FreeBSD

Always send application/json response type

Modern browsers (I tested Firefox, Safari, Chrome) will render an
application/json response body as text in a fixed width font. This
ease of display motivated the text/plain vs application/json
negotiation.

It is now obsolete. Let's always send application/json content type.

COUCHDB-2905

Merge remote-tracking branch 'github/pr/129'

Simplify, and remove unnecessary code

COUCHDB-2898

Ensure _global_changes exists

Downstream builds automatically ensure _global_changes exists, so this commit works for both cases

COUCHDB-2898

Create and delete test db using HTTP API

This supports downstream name munging that might occur

COUCHDB-2898

Explicitly authorize test requests

Create admin user and use its credentials for requests

Use http requests to create and delete test dbs to avoid potential db
name munging issues downstream

COUCHDB-2897

Improve checks for db admin/member

- Use lists:member/2 to check if user name is in list
- Throw forbidden error if user is authenticated on db membership check
- Normalize terminology readers vs members
- Make checks more Erlang-ish

COUCHDB-2534

Run tests with only the couch_db_plugin_test couch_epi plugin

These tests should only be run with the single couch_epi plugin defined by the test suite itself.
Also, only setup/teardown once for entire suite to improve performance.

COUCHDB-2868

Fix race condition in workqueue test.

Failure seen at least once in about 150 test runs:

```
Queue with max size of 160 bytes and 3 max items
 couch_work_queue_tests:143: should_have_no_items_for_new_queue...ok
**error:{assertEqual_failed,[{module,couch_work_queue_tests},
                     {line,210},
                     {expression,"couch_work_queue : item_count ( Q )"},
                     {expected,3},
                     {value,2}]}
```

From

```
should_block_producer_on_full_queue_count({Q, Producer, _}) ->
    ...
    produce(Q, Producer, 20, false),
    ?assertEqual(3, couch_work_queue:item_count(Q)),
```

Race condition is: telling Producer to produce, not waiting
for queue size to be updated, and then immediately checking
item_count.

To make failure occur reliably insert timer:sleep(10) in
producer_loop after ```Parent ! {item, Ref, Item}``` line.

The fix is to wait for queue size to be updated by using
the wait mode for produce function.

COUCHDB-2848

Merge remote-tracking branch 'github/pr/123'

Stabilize os daemons test

Increase delay timeout to fix this failure:

```
**error:{assertNotEqual,[{module,couchdb_os_daemons_tests},
                 {line,207},
                 {expression,"D # daemon . kill"},
                 {value,undefined}]}
```

So far noticed this failure once out of more than 100 runs.

Remove deprecated functions

Fix couch_httpd_multipart exports

Add IS_OLD_RECORD macro

This can be used in guards to detect if a state variable needs to be
upgraded. An example of it's use might be:

    handle_call(Msg, From, St) when ?IS_OLD_RECORD(St, #st{}) ->
        handle_call(Msg, From, upgrade_state(St));

This is useful for upgrading any of our various gen behaviors that
aren't properly supervised.

This closes #23

COUCHDB-2511

Signed-off-by: Alexander Shorin <kxepal@apache.org>

Fix warnings

Add license header

Merge remote-tracking branch 'github/pr/19' into multipart

Use couch_log for startup notifications

Stabilize couch_task_status_tests:run_multiple_tasks/0 test.

Previously, at the end of the test, it kills each status process
with call(Pid1, done), then immediately calls couch_task_status:all().

This caused a race between couch_task_status receiving the 'all'
call and the 'DOWN' message (from monitoring test processes). If
'DOWN' message came before 'all', test passed. If it came
after, it failed.

Increase EUnit test stability

 * couchdb_1283 : suspend compaction process to reduce chance of
   race condition between it finishing and Writer3 process opening
   a database handle. Writer3 should fail because compactor should
   be keeping its handle.  (@Kxepal, thanks for the idea!)

 * In couchdb_1309, when waiting for view cleanup, test once,
   if fails due to race condition, wait a second and try again.

 * Increase wait time to wait for compactor to stabilize runs on
 slower machines.

COUCHDB-2848

Merge branch 'add-filter-revs-limit'

Whitespace and housekeeping

Add specs to document validate_doc_update/5

Add revs limit for docs passed to filter functions

The existing revs_limit logic only accounts for depth of individual
branches, and ignores the case where you have a lot of branches, for
instance when a doc is heavily conflicted. This patch truncates the list
of revs when passing docs to the JS filter functions, because given
enough revs this can cause the couchjs processes to explode.

Fix dialyzer crash

This closes #114

Signed-off-by: Alexander Shorin <kxepal@apache.org>

Handle view server crashing during test compile of view functions.

Due to how libmozjs185 library is compiled on Ubuntu 12.04, given
invalid JS code, it will not return with expected error result:

 ["error","compilation_error",...]

but will crash. Otherwise library seems functional --  it passes
all other mrview tests.

Handle this crash in try_compile() function as a compilation
failure. Error message contains the exit status of the view process
to help debugging.

Throw if parse_revs is not a list

COUCHDB-2845

Fix status match for document create/update

CouchDB 2.0 returns 201 or 202 depending on the situation.

Remove assertNotMatch macro

Export couch_server:delete_file for reuse

Merge remote-tracking branch 'cloudant/simplify_couch_epi'

Fix "initialization from incompatible pointer type" warning for icu drv

It was caused by using ErlDrvSSizeT type instead of ErlDrvSizeT. It
was not an issue prior to R15 when ErlDrvSSizeT and ErlDrvSizeT where
basically int's.

Since we raised minimal Erlang release requirement up to R16B03-1,
there is no reason to maintain compatibility with pre-R15 for driver
so local COUCH_* types are replaced with ErlDrv* ones.

Remove round for create/delete database for 1000 times

Properly escape Location: HTTP header

Non-ASCII characters in the "Location:" header must be URL-encoded. This
can happen if a document is inserted with a user-defined "_id"
containing non-ASCII characters or if a filename contains non-ASCII
characters.

Fixes COUCHDB-2673

Merge remote-tracking branch 'cloudant/25815-couch-stream-io-priority'

Inherit io_priority from the process creating the stream

COUCHDB-2828
BugzID: 25815

Integrate with Travis CI

Fix chttpd port usage

Add license header

Fix task status unit test dependency

It depends on couch_log to be running. Otherwise it
throw this error:

```
unexpected termination of test process*
::{{badmatch,undefined},
   [{couch_log,debug,2,[{file,"src/couch_log.erl"},{line,32}]},
    {couch_task_status,handle_cast,2,
                       [{file,"src/couch_task_status.erl"},{line,137}]},
```

And only 6 out of 11 tests are run.

COUCHDB-2832

Fix OS Daemons test dependency.

In isolation was failing in configuration_reader_test_
Because fixtures/os_daemon_configer.escript was
requesting uuids.algorithm from config application,
which was not set up.

COUCHDB-2831

Fix tests for 8bbfba7 commit

Turn couch_doc_json_tests into unit tests

There are two issues:
1. There is no any reason to start server instance to ensure that we
accepts valid decoded JSON objects and throw right errors on bad ones;
2. Tests get actually executed before setup/0 call

Ensure clean teardown in os_daemons_test

We want to call `test_util:stop/1` at the end of the `os_daemons_test`
`teardown/2` function, so that we have a clean teardown without a
timeout exception being thrown.

Fix couchdb_os_daemons tests dependency.

couchdb_os_daemons_tests.erl was failing in
setup if run on its own:

```
... apps=couch tests=os_daemons_test_
```

with an exception:

```
**exit:{{{badmatch,undefined},
  [{couch_log,notice,2,[{file,"src/couch_log.erl"},{line,44}]},
   {config,handle_call,3,[{file,"src/config.erl"},{line,211}]},
```

because it depends on couch_log. So add couch_log as a dependency
in setup.

COUCHDB-2830

Pass supervisor's children to couch_epi

Update to new couch_epi API

Fix crypto deprecations

COUCHDB-2825

Use illegal_docid error for really bad document ids

Use lists:ukeymerge to simplify header deduplication

Modifies COUCHDB-1876 patch

Fix duplicated Content-Type for show/update functions

When a show/update function returned data it added a
"Content-Type: application/json" header by itself. Then
couch_httpd added some default headers (including a yet
another "application/json" one).
This diff will add default chttpd headers only when
same headers are not yet present in the response.

This closes #55

COUCHDB-1876

Signed-off-by: Alexander Shorin <kxepal@apache.org>

Merge remote-tracking branch 'cloudant/remove-csrf'

Remove new CSRF mechanism

Remove new CSRF mechanism

Add libcurl support for Windows

Convert compilation error to 400 Bad Request

COUCHDB-2772

Restrict CSRF check to specific mime types

COUCHDB-2797

Merge remote-tracking branch 'cloudant/2775-post-valid-json-header'

check POST requests for valid json header

validate that all POST requests with json body must have also have valid
json header: {"Content-Type": "application/json"}
This ensures a basic protection against CSRF

JIRA: COUCHDB-2775

Register service

COUCHDB-2796

Remove `ignore_providers` option

COUCHDB-2796

Capture histogram data for _bulk_requests

COUCHDB-2792

Fix crashing filtered _changes request

A filtered call to _changes end-point prompts a node to
pull a peer from the received mochi request record.
This is crashing on the secondary nodes in a clustered
environment since the peer call made on a socket
that is not original for them.

The fix makes use of the fact that by the time of the request
the peer already got resolved on the coordinator node and
passed along as a part of #http record.

This closes the case COUCHDB-2785

No, etap, we don't need in your services anymore

Bind both to IPv4 and IPv6 with special "any" value

This also removes need in special wrapper to handle atom as default
for config:get call.

COUCHDB-2783

Remove duplicate `couch_epi` from couch.app.src

Log when password is wrong but user is valid

COUCHDB-2777

Align csrf cookie refresh with authsession cookie refresh

Merge remote-tracking branch 'cloudant/47059_session_accept_username'

Implement rename_on_delete

Sometimes it is usefull to keep deleted db files around. For backup
reasons for example. This commit implements the feature. The feature is
enabled by specifying `rename_on_delete = true` in `[couchdb]` of the
config.

Make _session endpoint accept username in addition to name

Before _session endpoint was only accepting "name" and "password" parameters
This, makes _session endpoint, in addition,  to accept "username" and
"password" parameters

JIRA: COUCHDB-2754
BugzId: 47059

Add couch_db_plugin:on_delete/2

Tests for 'authentication_handlers' and 'authenticated' on '_session'

Don't do pointless conversion of dbname into list

Make sure we start `setup` app in test

Return `{error, {illegal_database_name, Name}}`

Export couch_db:is_admin/1

Add couch_db_plugin:check_is_admin/1

Add couch_db_plugin:validate_docid/1

Add couch_db_plugin:after_doc_read/2

Add couch_db_plugin:before_doc_update/2

Add couch_db_plugin:validate_dbname/2

Update `#chttpd{}` record

Don't guess authentication handler name

CSRF is not necessary for read operations

COUCHDB-2762

Add option to make CSRF cookie mandatory

When enabled, the CSRF cookie/header is required on all requests
except those to the welcome message at /.

COUCHDB-2762

change couch_httpd_csrf section to csrf

Add CSRF protection

If the request parameter `csrf` is set to `true` when successfully
acquiring a session cookie from `_session` an additional cookie
(`Csrf-token`) is returned. All requests that send this new cookie
must also send a header (`X-Csrf-Token`) with the same value. If the
cookie is sent and the header is missing or different, a 403 response
is generated.

Note that the CSRF token is signed by the server so tampering is
detected and also results in a 403 response.

closes COUCHDB-2762

Avoid arithmetic in `to_hex` function

Merge remote-tracking branch 'cloudant/dont-validate-host-by-default'