[AIRFLOW-3724] Fix the broken refresh button on Graph View in RBAC UI (#4548)

[AIRFLOW-3713] Updated documentation for GCP optional project_id (#4541)

[AIRFLOW-2843] Add flag in ExternalTaskSensor to check if external DAG/task exists (#4547)

In ExternalTaskSensor, it may be good to provide
an option to cease waiting immediately if the external
DAG/task specified doesn't exist.

To provide an argument "check_existence". Set to True to check
if the external DAG/task exists, and immediately cease waiting
if the external DAG/task does not exist.

The default value is set to False (no check or ceasing
will happen) so it will not affect any existing DAGs or
current user expectation.

[AIRFLOW-3455] add region in snowflake connector (#4285)

* [AIRFLOW-3455] add region in snowflake connector

* add test cases

[AIRFLOW-XXX] Correct Typo in sensor's exception (#4545)

[AIRFLOW-XXX] Fix a typo of config (#4544)

[AIRFLOW-3559] Add missing options to DatadogHook. (#4362)

[AIRFLOW-XXX] Remove `of to` typo. (#4542)

[AIRFLOW-XXX] Remove `of to` typo.

[AIRFLOW-3712] Remove settings.RBAC from GCP System Tests (#4540)

[AIRFLOW-3516] Support to create k8 worker pods in batches (#4434)

[AIRFLOW-3108] Define get_autocommit method for MsSqlHook (#4525)

The default implementation of DbApiHook merely checks for an attribute named `autocommit`.

Since `pymssql` Connection object actually has a method with that name, it returns a bound method when fetching an attribute with that name, evaluating to a "truthy" value. It resulted in SQL statements not actually being committed.

[AIRFLOW-3709] Validate `allowed_states` for ExternalTaskSensor (#4536)

In ExternalTaskSensor, we can specify `allowed_states`.
This commit adds validation for it, so that users will not
specify any invalid state.

This change works no matter the sensor waits for a DAG or
a specific task.

[AIRFLOW-3681] All GCP operators have now optional GCP Project ID (#4500)

[AIRFLOW-XXX] Include Los Angeles Times as a contributor in the Readme (#4526)

[AIRFLOW-XXX] Include Los Angeles Times as a contributor in the Readme

[AIRFLOW-XXX] Adding users to CAVA & PXYData (#4527)

adding patchus to 2 companies

[AIRFLOW-3319] - KubernetsExecutor: Need in try_number in  labels if getting them later (#4163)

* Need in labels if getting them later

* has to be an int to match running keys

- otherwise  running list will never empty

* pr comments

* bad merge

* mend pep issue

* add try_numer to make_pod test

[AIRFLOW-3704] Support SSL Protection When Redis is Used as Broker for CeleryExecutor (#4521)

From Celery 4.1 (current Airflow is using 4.1.1),
"broker_use_ssl" argument starts to support Redis
(earlier this argument is only supported when amqp is used for broker)
(REF: https://github.com/celery/celery/blob/4.1/docs/userguide/configuration.rst).

[AIRFLOW-3655] Escape links generated in model views (#4522)

[AIRFLOW-3303] Deprecate old UI in favor of FAB (#4339)

[AIRFLOW-3699] Speed up Flake8 (#4515)

Flake8 runs within the Docker container, which is not needed.
Running this outside Docker will dramatically speed up the
CI process.

[AIRFLOW-3522] Add support for sending Slack attachments (#4332)

* [AIRFLOW-3522] Add support for sending Slack attachments

Add attachments args to SlackWebhookHook and
SlackWebhookOperator to support sending more
detailed Slack messages.

* [AIRFLOW-3522] Update attachments docstrings

[AIRFLOW-3569] Add "Trigger DAG" button in DAG page (/www_rbac only) (#4373)

To have the Manual Trigger DAG button in the DAG page as well,
rather than only in the home page.

[AIRFLOW-3700] Change the lowest allowed version of "requests" (#4517)

[AIRFLOW-3696] Add Version info to Airflow Documentation (#4512)

[AIRFLOW-3693] Replace psycopg2-binary by psycopg2 (#4508)

For Python packages, psycopg2 is preferred over psycopg2-binary
http://initd.org/psycopg/docs/install.html#binary-install-from-pypi

[AIRFLOW-3694] Add README.md to the Dockerfile (#4510)

[AIRFLOW-3690] Fix bug to set state of a task for manually-triggered DAGs (#4504)

[AIRFLOW-XXX] Fix misspelling of Vertica (#4509)

[AIRFLOW-3689] Update pop-up message when deleting DAG in RBAC UI (#4505)

This feature was added in https://github.com/apache/airflow/pull/4287,
but the pop-up messages was only updated in airflow/www/templates/airflow/dag.html,
while it should be updated for all dag.html & dags.html for both /www and /www_rbac.

[AIRFLOW-3692] Remove ENV variables to avoid GPL (#4506)

[AIRFLOW-3691] Update notice to 2019 (#4503)

[AIRFLOW-722] Add celery queue sensor (#4496)

[AIRFLOW-3685] Move licence header check (#4497)

[AIRFLOW-3687] Add missing @apply_defaults decorators (#4498)

[AIRFLOW-XXX] Fix Typo in README (#4501)

[AIRFLOW-3191] Fix not being able to specify execution_date when creating dagrun (#4037)

[AIRFLOW-3673] Add official dockerfile (#4483)

[AIRFLOW-3680] Consistency update in tests for All GCP-related operators (#4493)

This commit performs consistency change for tests for all GCP-related operators.
The operators were evolving over time and the approach to implement those
have changed over time. After some 30+ operators implemented, it's time
to introduce some consistency across all the operators. Those are:

* Separating out System test cases from Unit test cases
* Consistent names of variables that are used in system test cases
* Updated documentation to be consistent across the operators
* Updated examples to be better readable and runnable as System Tests
* Added helper methods that allow to make setUp/tearDown for System Tests

[AIRFLOW-XXX] Adding Palo Alto Networks as a user (#4495)

[AIRFLOW-3675] Use googlapiclient for google apis (#4484)

The deprecated apiclient package name is used in a number of places.

This commit changes it to googleapiclient and modifies the right
packages to be used instead.

[AIRFLOW-3439] Decode logs with  'utf-8' (#4474)

[AIRFLOW-XXX] Fix/complete example code in plugins.rst (#4376)

[ci skip]

Based on
- https://github.com/dpgaspar/Flask-AppBuilder/blob/master/flask_appbuilder/baseviews.py#L76
- tests/plugins/test_plugin.py

We need to specify `default_view` for the plugin class  from `AppBuilderBaseView`.

[AIRFLOW-3676] Add required permission to CloudSQL export/import example (#4489)

[AIRFLOW-3592] Fix logs when task is in rescheduled state (#4492)

[AIRFLOW-3679] Added Google Cloud Base Hook to documentation (#4487)

[AIRFLOW-3554] Include contrib folders in code coverage stats (#4351)

contrib/ was excluded previously (in the AirBnB days) as there was a distinction
 between contrib and "core" even though it was in tree. That distinction doesn't
 hold any more, so we care about the coverage of the contrib folders too.

[AIRFLOW-3212] Add AwsGlueCatalogPartitionSensor (#4112)

Adds AwsGlueCatalogPartitionSensor and AwsGlueCatalogHook with
supporting functions. Unit tests are included but rely on mocking since
Moto does not yet fully support AWS Glue Catalog at this time.

[AIRFLOW-3197] Remove invalid parameter KeepJobFlowAliveWhenNoSteps in example DAG (#4404)

The parameter 'KeepJobFlowAliveWhenNoSteps' in  JOB_FLOW_OVERRIDES doesn't pass boto API parameter validation, as it should be a part of 'Instances' object.

Signed-off-by: Anton Weiss <anton@otomato.link>

[AIRFLOW-3594] Unify different License Header

[AIRFLOW-3468] Remove KnownEvent(Event)?

The KnownEvent and KnownEventType isn't used by 99% of the companies
and therefore we would like to deprecate this for Airflow 2.0

[AIRFLOW-3664] Fix interpreter errors in test_python_operator.py (#4472)

[AIRFLOW-3475] Move ImportError out of models.py (#4383)

[AIRFLOW-3584] Use ORM DAGs for index view. (#4390)

* [AIRFLOW-3584] Use ORM DAGs for index view.

* Serialize schedule interval to json rather than pickle.

[AIRFLOW-3589] Visualize reschedule state in all views (#4408)

* [AIRFLOW-3589] Visualize reschedule state in all views

* Add explicit `UP_FOR_RESCHEDULE` state
* Add legend and CSS to views

* [AIRFLOW-3589] Visualize reschedule state in all views

* Use set or tuple instad of list
* Use `with` statement for session handling

[AIRFLOW-3207] Option to push result to xcom (#4056)

[AIRFLOW-3638] Add tests for PrestoToMySqlTransfer (#4449)

- reformatting

[AIRFLOW-3638] Add tests for PrestoToMySqlTransfer

- add missing license header

[AIRFLOW-3671] Remove arg `replace` of MongoToS3Operator from `kwargs` (#4480)

If the operator get arguments from `kwargs`, it will fire DeprecationWarning

[AIRFLOW-XXX] Docs: Fix paths to GCS transfer operator (#4479)

[AIRFLOW-3670] Add stages to Travis build (#4477)

Allow travis to fail the entire build quickly, if the flake8 build fails

[AIRFLOW-XXX] Update README.md (#4482)

We are using Airflow at Nine.

[AIRFLOW-3605] Load plugins from entry_points (#4412)

* [AIRFLOW-3605] Add entrypoint plugin docs

This documentation came from https://github.com/apache/incubator-airflow/pull/730 which had already started work on a PR for this functionality.

* [AIRFLOW-3605] Extend plugin loading functionality

Added business logic to import AirflowPlugin classes through entry_points.
This means we don’t have to interact with the file system directly to install plugins, and can manage them via `pip`.

[AIRFLOW-3657] Fix zendesk integration (#4466)

[AIRFLOW-3504] Refine the functionality of "/health" endpoint (#4309)

Extend the functionality of "/health" endpoint by:
1. Checking if database backend can be connected;
2. Checking the latest scheduler heartbeat

The response will be in format:
  {
    "metadatabase":{
      "status":"healthy"
    },
    "scheduler":{
      "status":"healthy",
      "latest_scheduler_heartbeat":"2018-12-26 17:15:11+00:00"
    }
  }

This is done for both /www and /www_rbac.

No authentication is required to access this endpoint (no
sensitive information will be exposed through it).

Tests & documentation are added accordingly.

(Deleted an unnecessary line in airflow/www/views.py as well)

[AIRFLOW-3662] Add dependency for Enum (#4468)

[AIRFLOW-3655] Escape links generated in model views (#4463)

[AIRFLOW-3661] Add Waze as an Airflow user (#4469)

[AIRFLOW-3596] Clean up undefined template variables. (#4401)

[AIRFLOW-3630] Cleanup of GCP Cloud SQL Connection (#4451)

[AIRFLOW-3582] Adds tests for HiveStatsCollectionOperator (#4398)

[AIRFLOW-3646] Rename plugins_manager.py to test_xx to trigger tests (#4464)

[AIRFLOW-3627] Refine performance of /task_stats (#4433)

[AIRFLOW-XXX] Add Bloomberg to list of Airflow users (#4462)

* Add Bloomberg to list of Airflow users

* Indicate that Daniel Imberman is Bloomberg's Airflow PoC

[AIRFLOW-3631] Update flake8 and fix lint. (#4436)

[AIRFLOW-3478] Make sure that the session is closed (#4298)

[AIRFLOW-3515] Remove the run_duration option (#4320)

[AIRFLOW-3519] Fix example http operator (#4455)

[AIRFLOW-3650] Skip running on mysql for the flaky test (#4457)

[AIRFLOW-XXX] Fix a flake8 error to unblock CI (#4453)

[AIRFLOW-XXX] Add BaseTIS as Airflow User (#4442)

[AIRFLOW-2082] Resolve a bug in adding password_auth to api as auth method (#4343)

[AIRFLOW-3610] Add region param for EMR jobflow creation (#4418)

[AIRFLOW-3531] Fix test for GCS to GCS Transfer Hook (#4452)

[AIRFLOW-3531] Add gcs to gcs transfer operator. (#4331)

[AIRFLOW-3624] Add masterType parameter to MLEngineTrainingOperator (#4428)

[AIRFLOW-3636] Fix a test introduced in #4425 (#4446)

[AIRFLOW-3637] Fix test for HiveToMySqlTransfer Operator (#4447)

[AIRFLOW-3635] Fix incorrect logic in detele_dag (introduced in PR#4406) (#4445)

Incorrect logic was introduced in PR #4406
(https://github.com/apache/airflow/pull/4406)

This was not found out because the Travis CI was not working as expected.

[AIRFLOW-3612] Remove remaining incubator mention & Fix CI Behaviour (#4441)

[AIRFLOW-XXX] Update committer list based on latest TLP discussion (#4427)

[AIRFLOW-3612] Remove incubation/incubator mention (#4419)

[AIRFLOW-3634] Fix GCP Spanner Test (#4440)

[AIRFLOW-3480] Add GCP Spanner Database Operators (#4353)

[AIRFLOW-3150] Make execution_date templated in TriggerDagRunOperator (#4359)

[AIRFLOW-3622] Add ability to pass hive_conf to HiveToMysqlTransfer (#4432)

[AIRFLOW-3340] Placeholder support in connections form (#4185)

[AIRFLOW-3527] Update Cloud SQL Proxy to have shorter path for UNIX socket (#4350)

[AIRFLOW-3446] Add Google Cloud BigTable operators (#4354)

[AIRFLOW-3623] Support download logs by attempts from UI (#4425)

[AIRFLOW-3316] For gcs_to_bq: add missing init of schema_fields var (#4430)

[AIRFLOW-3583] Fix AirflowException import (#4389)

Looks like the class path changed and broke wasb_hook