Update Dockerfile - set proper airflow version (#22925)

Currently set airflow version won't let to build the image

Update Airflow 2.2.5 release date on Changelog (#22732)

fixup! Add 2.2.5 to CHANGELOG.txt and UPDATING.md

Add 2.2.5 to CHANGELOG.txt and UPDATING.md

Update FAB to latest released from 3.4 line (3.4.5) (#22596)

We checked that the changes introduced between 3.4.4 and 3.4.5
do not require from us to change the vendored-in security manager.

(cherry picked from commit d4846e4137b84e86ff107da6e495579c143fe7bd)

fixup! Add 2.2.5 to CHANGELOG.txt and UPDATING.md

Add 2.2.5 to CHANGELOG.txt and UPDATING.md

Revert "Fix handling some None parameters in kubernetes 23 libs. (#21905)"

This reverts commit 24c84f0acee622f6bba4b8d73f2e9a6831cd364a.

Revert "Update Kubernetes library version (#18797)"

This reverts commit cb9cdf5285502381298bf459d000dc689c6aab2a.

Revert "Remove RefreshConfiguration workaround for K8s token refreshing (#20759)"

This reverts commit d39197fd13b0d96c2ab84ca3f1f13391dbf59572.

Fix rat-exclides and issue template licence (#22550)

Add 2.2.5 to CHANGELOG.txt and UPDATING.md

Update Kubernetes library version (#18797)

Previously we pinned this version as v12 as a change to Kube library
internals meant v1.Pod objects now have a logger object inside them, and
couldn't be pickled on Python 3.6.

To fix that we have "backported" the change in Python 3.7 to make Logger
objects be pickled "by name". (In Python 3.7 the change adds
`__reduce__` methods on to the Logger and RootLogger objects, but here
we achieve it `copyreg` stdlib module so we don't monkeypatch
anything.)

This fix is also applied in to airflow core in a separate commit, but we
also apply it here in the provider so that cncf.kubernetes client
library can be updated but still used with older versions of Airflow
that don't have this fix in.

(cherry picked from commit 7222f68d374787f95acc7110a1165bd21e7722a1)

Fix handling some None parameters in kubernetes 23 libs. (#21905)

Kubernetes 23.* is more picky when it comes to values passed to
Pod Generator - it requires:

* imagePullPolicy
* dnsPolicy
* restartPolicy

to be not None.

We are fixing it in the way, that we simply skip setting those
if they are None.

(cherry picked from commit e856aba9ab69094787dfd0f6e911f20782069e92)

Remove RefreshConfiguration workaround for K8s token refreshing (#20759)

A workaround was added (https://github.com/apache/airflow/pull/5731) to handle the refreshing of EKS tokens.  It was necessary because of an upstream bug.  It has since been fixed (https://github.com/kubernetes-client/python-base/commit/70b78cd8488068c014b6d762a0c8d358273865b4) and released in v21.7.0 (https://github.com/kubernetes-client/python/blob/master/CHANGELOG.md#v2170).

(cherry picked from commit 7bd165fbe2cbbfa8208803ec352c5d16ca2bd3ec)

Add the new Airflow Trove Classifier to setup.cfg (#22241)

We have new Trove Classifiers in PyPI for Apache Airflow:

https://github.com/pypa/trove-classifiers/pull/87

This PR adds it for Airflow. The next release of Providers will
add the classifiers for providers.

(cherry picked from commit d3c65b64e9ff4c24a1a899af0d5eba954775f646)

Remove cache timeout limit

Fixed Dask TLS tests to work on Python 3.6

Make regular expressions deep-copyable in Python 3.6

Check and disallow a relative path for sqlite (#22530)

(cherry picked from commit 96e880d6ab33e05a0dc1d1e2b2178ed1053490af)

Replace timedelta.max with year long timdelta in test_manager (#22527)

Timedelta.max used in tests is not realistic and in some
circumstances, when it is added to date, it might cause
date OverflowError. Using long (but not 999999999 days long)
timedelta solves the problem.

(cherry picked from commit 18da1217d7ae593ff33c681353b027fac9252523)

Fixed dask executor and tests (#22027)

 Fixed dask executor and tests, distributed package does not ship with tests folder and the certificates, added certificates to certs folder

(cherry picked from commit d3c168c5a341327bb55eb855433620249941584a)

Remove auto-generated LICENSES-ui from pre-commit

Remove provider check from pre-commits

Make v2-2-specific CI workflow

This is a change in the workflow specific to v2-2-branch that
brings build-ci-images and tests in the same workflow.

This can only be done because v2-2 branch no longer accepts PRs
from forks and workflows are only one with direct pushes from
commmitters. Then the workflows have write access to the packages
and can be simplified (and can also contain different set
of images than the main workflow).

Remove tests that are not really needed in 2-2 branch

Add `dbt` spelling

Add back celery intersphinx mapping (#22370)

We had disabled this previously in (#22254) but now the website is up on a different domain as listed in https://github.com/celery/celeryproject/issues/51#issuecomment-1072248499

(cherry picked from commit 1f7836e07e643b3e9e0eca57ae077072358c63c1)

Fix broken links to celery documentation (#22364)

The celery documentation have been moved from https://docs.celeryproject.org/ to https://docs.celeryq.dev/. The old links now refer to a 404 error page, the new links to the actual documentation.

(cherry picked from commit a8de170c9fb31d219ec4287f79cfa58cc0b44866)

Limit docs build to apache-airlfow + docker-stack for 2.2 branch

Remove provider tests failing collection because lack of cherry-picks

Remove memorystore, not importable example

Synchronize setup.py files with new providers

Update version added for `deactivate_stale_dags_interval` config (#22478)

(cherry picked from commit 24a0d6a6ad71cdb922fec3df59acbc0e9f2da39c)

adding `on_execute_callback` to callbacks docs (#22362)

* adding on_execute_callback

`on_execute_callback` is not listed but is an available callback to use. Could not find a docs page to link the way that the rest of them have.

* Update docs/apache-airflow/logging-monitoring/callbacks.rst

Co-authored-by: Josh Fell <48934154+josh-fell@users.noreply.github.com>
* Update docs/apache-airflow/logging-monitoring/callbacks.rst

Co-authored-by: Josh Fell <48934154+josh-fell@users.noreply.github.com>
Co-authored-by: eladkal <45845474+eladkal@users.noreply.github.com>
(cherry picked from commit 179c5b67e9c838f2f6df2b2b9a4451bfa09db42d)

Add documentation on specifying a DB schema. (#22347)

* Add documentation on specifying a DB schema.

From request - https://github.com/apache/airflow/issues/17374#issuecomment-1060019956

Co-authored-by: Nick Shook <nick.shook@apple.com>
(cherry picked from commit 3bc0da326e7963eab9154913d5cafbc1be1c1a67)

DB upgrade is required when updating Airflow (#22061)

Just strengthen the language that it is "required", not "recommended" to
run `airflow db upgrade` when upgrading Airflow versions.

(cherry picked from commit e7fed6bb3d7c8def86b47204176cebbfc6c401ff)

Change the storage of frame to use threadLocal rather than Dict (#21993)

There is a very probable WeakKeyDict bug in Python standard
library (to be confirmed and investigated further) that
manifests itself in a very rare failure of the
test_stacktrace_on_failure_starts_with_task_execute_method

This turned out to be related to an unexpected behaviour
(and most likely a bug - to be confirmed) of WeakKeyDict
when you have potentially two different objects with the
same `equals` and `hash` values added to the same
WeakKeyDict as keys.

More info on similar report (but raised for a bit different
reason) bug in Python can be found here:

https://bugs.python.org/issue44140

We submitted a PR to fix the problem found
https://github.com/python/cpython/pull/31685

(cherry picked from commit 1949f5d76b5842d56db91c868ae4655bb7a7689f)

Fix incorrect data provided to tries & landing times charts (#21928)

(cherry picked from commit 2c57ad4ff9ddde8102c62f2e25c2a2e82cceb3e7)

Fix assignment of unassigned triggers (#21770)

Previously, the query returned no alive triggerers which resulted
in all triggers to be assigned to the current triggerer. This works
fine, despite the logic bug, in the case where there's a single
triggerer. But with multiple triggerers, concurrent iterations of
the TriggerJob loop would bounce trigger ownership to whichever
loop ran last.

Addresses https://github.com/apache/airflow/issues/21616

(cherry picked from commit b26d4d8a290ce0104992ba28850113490c1ca445)

Fix the triggerer capacity test (#21760)

Commit 9076b67 changed the triggerer logic to use int not string.

(cherry picked from commit e1fe30c70d0fe9c033db9daf9d4420f7fa815b2d)

Fix triggerer --capacity parameter (#21753)

(cherry picked from commit 9076b67c05cdba23e8fa51ebe5ad7f7d53e1c2ba)

Correct a couple grammatical errors in docs (#21750)

Just reading through the docs as we implement Airflow on our end, saw a couple additions that could be made.

(cherry picked from commit 3bb63d4cfbbb534298d32ec987f25a02c11fc4e6)

Fix graph autorefresh on page load (#21736)

* fix auto refresh check on page load

* minor code cleanup

* remove new line

(cherry picked from commit b2c0a921c155e82d1140029e6495594061945025)

Fix filesystem sensor for directories (#21729)

Fix walking through wildcarded directory in `FileSensor.poke` method

(cherry picked from commit 6b0ca646ec849af91fe8a10d3d5656cafa3ed4bd)

Fix stray order_by(TaskInstance.execution_date) (#21705)

(cherry picked from commit bb577a98494369b22ae252ac8d23fb8e95508a1c)

Correctly handle multiple '=' in LocalFileSystem secrets. (#21694)

(cherry picked from commit 919b75ba20083cc83c4e84e35aae8102af2b5871)

Log exception in local executor (#21667)

(cherry picked from commit a0fb0bbad312df06dd0a85453bd4f93ee2e01cbb)

Disable default_pool delete on web ui (#21658)

(cherry picked from commit df6058c862a910a99fbb86858502d9d93fdbe1e5)

Fix postgres part of pipeline example of tutorial (#21586)

(cherry picked from commit 40028f3ea3e78a9cf0db9de6b16fa67fa730dd7a)

extends typing-extensions to be installed with python 3.8+ #21566 (#21567)

(cherry picked from commit e4ead2b10dccdbe446f137f5624255aa2ff2a99a)

Dispose unused connection pool (#21565)

(cherry picked from commit 8155e8ac0abcaf3bb02b164fd7552e20fa702260)

Fix logging JDBC SQL error when task fails (#21540)

(cherry picked from commit bc1b422e1ce3a5b170618a7a6589f8ae2fc33ad6)

Filter out default configs when overrides exist. (#21539)

* Filter out default configs when overrides exist.

When sending configs to Airflow workers we materialize a temp config file. In #18772 a feature was added so that `_cmd` generated secrets are not written to the files in some cases instead favoring maintaining the raw `_cmd` settings. Unfortunately during materializing of the configs via `as_dict()` Airflow defaults are generated and materialized as well including defaults for the non `_cmd` versions of some settings. And due to Airflow setting precedence stating bare versions of settings winning over `_cmd` versions it results in `_cmd` settings being discarded:
https://airflow.apache.org/docs/apache-airflow/stable/howto/set-config.html

This change checks `_cmd`, env, and secrets when materializing configs via `as_dict()` so that if the bare versions of the values is exactly the same as Airflow defaults and we have "hidden" / special versions of these configs that are trying to be set we remove the bare versions so that the correct version can be used.

Fixes: #20092
Related to: #18772 #4050

(cherry picked from commit e07bc63ec0e5b679c87de8e8d4cdff1cf4671146)

Fix Resources __eq__ check (#21442)

(cherry picked from commit 6b308446eae2f83bf379f976c7d7801aa53370a3)

Fix max_active_runs=1 not scheduling runs when min_file_process_interval is high (#21413)

The finished dagrun was still being seen as running when we call dag.get_num_active_runs
because the session was not flushed. This PR fixes it

(cherry picked from commit feea143af9b1db3b1f8cd8d29677f0b2b2ab757a)

Reduce DB load incurred by Stale DAG deactivation (#21399)

Deactivating stale DAGs periodically in bulk

By moving this logic into the DagFileProcessorManager and running it across all processed file periodically, we can prevent the use of un-indexed queries.

The basic logic is that we can look at the last processed time of a file (for a given processor) and compare that to the last_parsed_time of an entry in the dag table. If the file has been processed significantly more recently than the DAG has been updated, then its safe to assume that the DAG is missing and can be marked inactive.

(cherry picked from commit f309ea78f7d8b62383bc41eac217681a0916382b)

Extend documentation for states of DAGs & tasks and update trigger rules docs (#21382)

(cherry picked from commit 4e959358ac4ef9554ff5d82cdc85ab7dc142a639)

Fix race condition between triggerer and scheduler (#21316)

(cherry picked from commit 2a6792d94d153c6f2dd116843a43ee63cd296c8d)

Fix trigger dag redirect from task instance log view (#21239)

(cherry picked from commit fd8f21f1a3c1e9f447a96a193adf5d28e207731a)

Log traceback in trigger excs (#21213)

(cherry picked from commit 4ad21f5f7c2d416cf813a860564bc2bf3e161d46)

A trigger might use a connection; make sure we mask passwords (#21207)

(cherry picked from commit 3d0c1aea5a85a4d31d3ade530e4c5b85b045503a)

Update `ExternalTaskSensorLink` to handle templated `external_dag_id` (#21192)

(cherry picked from commit 8da7af2bc0f27e6d926071439900ddb27f3ae6c1)

Ensure clear_task_instances sets valid run state (#21116)

(cherry picked from commit d17db3ce8ee8a8a724ced9502c73bc308740a358)

fix: Update custom connection field processing (#20883)

* fix: Update custom connection field processing

Fixes issue where custom connectionfields are not updated because `extra` field is in form and has previous values, overriding custom field values.
Adds portion of connection form tests to test functionality.

(cherry picked from commit 44df1420582b358594c8d7344865811cff02956c)

Truncate stack trace to DAG user code for exceptions raised during execution (#20731)

(cherry picked from commit 7ea0f7694f39358583cf8f0f8af896fc776bdffe)

Fix duplicate trigger creation race condition (#20699)

The process for queueing up a trigger, for execution by the TriggerRunner, is handled by the TriggerJob's `load_triggers` method.  It fetches the triggers that should be running according to the database, checks if they are running and if not it adds them to `TriggerRunner.to_create`.  The problem is tha there's a small window of time between the moment a trigger (upon termination) is purged from the `TriggerRunner.triggers` set,  and the time that the database is updated to reflect the trigger's doneness.  If `TriggerJob.load_triggers` runs during this window, the trigger will be added back to the `TriggerRunner.to_create` set and it will run again.

To resolve this what we do here is, before adding a trigger to the `to_create` queue, instead of comparing against the "running" triggers, we compare against all triggers known to the TriggerRunner instance.  When triggers move out of the `triggers` set they move into other data structures such as `events` and `failed_triggers` and `to_cancel`.  So we union all of these and only create those triggers which the database indicates should exist _and_ which are know already being handled (whatever state they may be in) by the TriggerRunner instance.

(cherry picked from commit 16b8c476518ed76e3689966ec4b0b788be935410)

Rename `to_delete` to `to_cancel` in TriggerRunner (#20658)

The queue's purpose is to track triggers that need to be canceled. The language `to_delete` was a bit confusing because for one it does not actually delete them but cancel them.  The deletion work is actually in `cleanup_finished_triggers`.  It seems that this method will usually not do anything and it's only for cancelling triggers that are currently running but for whatever reason no longer should be.  E.g. when a task is killed and therefore the trigger is no longer needed, or some multi-triggerer scenarios.  So putting cancel in the name also highlights that this is about stopping running triggers, not e.g. purging completed ones.

(cherry picked from commit c20ad79b40ea2b213f6dca221221c6dbd55bd08f)

Fix Tasks getting stuck in scheduled state (#19747)

The scheduler_job can get stuck in a state, where it is not able to queue new tasks. It will get out of this state on its own, but the time taken depends on the runtime of current tasks - this could be several hours or even days.

If the scheduler can't queue any tasks because of different concurrency limits (per pool, dag or task), then on next iterations of the scheduler loop it will try to queue the same tasks. Meanwhile there could be some scheduled tasks with lower priority_weight that could be queued, but they will remain waiting.

The proposed solution is to keep track of dag and task ids, that are concurrecy limited and then repeat the query with these dags and tasks filtered out.

Co-authored-by: Tanel Kiis <tanel.kiis@reach-u.com>
(cherry picked from commit cd68540ef19b36180fdd1ebe38435637586747d4)

Fix: Do not render undefined graph edges (#19684)

* Fix: Do not render undefined graph edges

A user had an issue where a `targetId` was undefined and that caused the whole graph view to crash. Instead, we should check for the source and target before rendering the edge.

* move all checks to one line

(cherry picked from commit bd109b4336d5950168b6ff04a752290e437b2b8c)

Set X-Frame-Options header to DENY only if X_FRAME_ENABLED is set to true. (#19491)

(cherry picked from commit 084079f446570ba43114857ea1a54df896201419)

Bump version to 2.2.5

Fix 2.2.4 changelog date and remove dups (#22011)

Remove misleading MSSQL information from the docs (#21998)

Some of the past cherry-picks brought MSSQL information to Airflow
docs in stable version. This should be removed.

fixup! Add changelog for 2.2.4rc1

Pin Markupsafe until we are able to upgrade Flask/Jinja (#21664)

Markupsafe 2.1.0 breaks with error: import name 'soft_unicode' from 'markupsafe'.
This should be removed when either this issue is closed:
https://github.com/pallets/markupsafe/issues/284
or when we will be able to upgrade JINJA to newer version (currently
limited due to Flask and Flask Application Builder)

(cherry picked from commit 366c66b8f6eddc0d22028ef494c62bb757bd8b8b)

Add changelog for 2.2.4rc1

Clarify pendulum use in timezone cases (#21646)

It is important to use Pendulum in case timezone is used - because
there are a number of limitations coming from using stdlib
timezone implementation.

However our documentation was not very clear about it, especially
some examples shown using standard datetime in DAGs which could
mislead our users to continue using datetime if they use timezone.

This PR clarifies and stresses the use of pendulum is necessary
when timezone is used. Also it points to the documentation
in case serialization throws error about not using Pendulum
so that the users can learn about the reasoning.

This is the first part of the change - the follow up will be
changing all provider examples to also use timezone and
pendulum explicitly.

See also #20070

(cherry picked from commit f011da235f705411239d992bc3c92f1c072f89a9)

added explaining concept of logical date in DAG run docs (#21433)

(cherry picked from commit 752d53860e636ead2be7c3f2044b9b312ba86b95)

Adding missing login provider related methods from Flask-Appbuilder (#21294)

(cherry picked from commit 38894e8013b5c38468e912164f80282e3b579993)

Add note about Variable precedence with env vars (#21568)

This PR updates some documentation regarding setting Airflow Variables using environment variables. Environment variables take precedence over variables defined in the UI/metastore based on this default search path list: https://github.dev/apache/airflow/blob/7864693e43c40fd8f0914c05f7e196a007d16d50/airflow/secrets/__init__.py#L29-L30

(cherry picked from commit 7a268cb3c9fc6bc03f2400c6632ff8dccf4e451e)

Reorder migrations to include bugfix in 2.2.4 (#21598)

(cherry picked from commit 005cef042bc4184c24ad03c1b4ee40cdbaf96cb5)

Fix slow DAG deletion due to missing ``dag_id`` index for job table (#20282)

Fixes #20249

(cherry picked from commit ac9f29da200c208bb52d412186c5a1b936eb0b5a)

update tutorial_etl_dag notes (#21503)

* update tutorial_etl_dag notes

(cherry picked from commit a42607a4b75586a396d6a56145ed048d127dd344)

Simplify trigger cancel button (#21591)

Co-authored-by: Jed Cunningham <jedcunningham@apache.org>
(cherry picked from commit 65297673a318660fba76797e50d0c06804dfcafc)

Add a session backend to store session data in the database (#21478)

Co-authored-by: Jed Cunningham <jedcunningham@apache.org>
(cherry picked from commit da9d0863c7ff121c111a455708163b026943bdf1)

Show task status only for running dags or only for the last finished dag (#21352)

* Show task status only for running dags or only for the last finished dag

* Brought the logic of getting task statistics into a separate function

(cherry picked from commit 28d7bde2750c38300e5cf70ba32be153b1a11f2c)

Use compat data interval shim in log handlers (#21289)

(cherry picked from commit 44bd211b19dcb75eeb53ced5bea2cf0c80654b1a)

Fix postgres hook import pipeline tutorial (#21491)

(cherry picked from commit a2abf663157aea14525e1a55eb9735ba659ae8d6)

Fix mismatch in generated run_id and logical date of DAG run (#18707)

Co-authored-by: Tzu-ping Chung <tp@astronomer.io>
Co-authored-by: Jed Cunningham <jedcunningham@apache.org>
(cherry picked from commit 1f08d281632670aef1de8dfc62c9f63aeec18760)

Fix TriggerDagRunOperator extra link (#19410)

The extra link provided by the operator was previously using the
execution date of the triggering dag, not the triggered dag. Store the
execution date of the triggered dag in xcom so that it can be read back
later within the webserver when the link is being created.

(cherry picked from commit 820e836c4a2e45239279d4d71e1db9434022fec5)

Add possibility to create user in the Remote User mode (#19963)

(cherry picked from commit cdd9ea66208e3d70d1cf2a34530ba69bc3c58a50)

Avoid deadlock when rescheduling task (#21362)

The scheduler job performs scheduling after locking the "scheduled"
DagRun row for writing. This should prevent from modifying DagRun
and related task instances by another scheduler or "mini-scheduler"
run after task is completed.

However there is apparently one more case where the DagRun is being
locked by "Task" processes - namely when task throws
AirflowRescheduleException. In this case a new "TaskReschedule"
entity is inserted into the database and it also performs lock
on the DagRun (because TaskReschedule has "DagRun" relationship.

This PR modifies handling the AirflowRescheduleException to obtain the
very same DagRun lock before it attempts to insert TaskReschedule
entity.

Seems that TaskReschedule is the only one that has this relationship
so likely all the misterious SchedulerJob deadlock cases we
experienced might be explained (and fixed) by this one.

It is likely that this one:

* Fixes: #16982
* Fixes: #19957

(cherry picked from commit 6d110b565a505505351d1ff19592626fb24e4516)

Fix docs link for smart sensor deprecation (#21394)

We are releasing the deprecation in version 2.2.4, not 2.3.0 like
originally planned.

(cherry picked from commit 3a780380d8f5d50ffc876c326e70ee0eee033c0d)

Update example DAGs (#21372)

(cherry picked from commit 7a38ec2ad3b3bd6fda5e1ee9fe9e644ccb8b4c12)

Update error docs to include before_send option (#21275)

https://github.com/apache/airflow/pull/18261 Added support for the `before_send` option when initializing the Sentry SDK in airflow. This patch updates the documentation to reflect this change.
(cherry picked from commit b38391e2f91760e64576723c876341f532a6ee2d)

Fix the incorrect scheduling time for the first run of dag (#21011)

When Catchup_by_default is set to false and start_date in the DAG is the
previous day, the first schedule time for this DAG may be incorrect

Co-authored-by: wanlce <who@foxmail.com>
(cherry picked from commit 0bcca55f4881bacc3fbe86f69e71981f5552b398)

Update stat_name_handler documentation (#21298)

Previously stat_name_handler was under the scheduler section of the
configuration but it was moved to the metrics section since 2.0.0.

(cherry picked from commit 0ae31e9cb95e5061a23c2f397ab9716391c1a488)

Docs: Fix task order in overview example (#21282)

(cherry picked from commit 1ba83c01b2b466ad5a76a453e5f6ee2884081e53)

Update recipe for Google Cloud SDK (#21268)

(cherry picked from commit 874a22ee9b77f8f100736558723ceaf2d04b446b)