Merge pull request #7241: [BEAM-6204] Clean up duplicated SocketAddressFactory class.

Merge pull request #7261 from echauchot/BEAM-6216-flink-local

Merge pull request #7261: [BEAM-6216] Update flinkMaster URL to reflect change in FlinkExecutionEnvironments

[BEAM-6216] Update flinkMaster URL in nexmark postCommit script to reflect change in FlinkExecutionEnvironments.

Merge pull request #7260 Fix combiner lifting for external job service.

Fix combiner lifting for external job service.

[BEAM-6216] Update flinkMaster URL in the nexmark wep-page to reflect change in FlinkExecutionEnvironments.

Merge pull request #7258: [BEAM-6213] Fix matching of glob patterns in windows local filesystem

Fix combiner lifting for external job service.

Merge pull request #7078 from [BEAM-6094] External portable BeamPython.

[BEAM-6094] Implement external environment for portable BeamPython.

[BEAM-6213] Fix matching of glob patterns in windows local filesystem

[BEAM-6094] Implement external environment for Portable Beam.

Use environment to control worker startup in FnApiRunner.

Merge pull request #7254: [BEAM-2943] Fix typo in filename on FlinkRunner page

Merge pull request #7246: [BEAM-5058] remove unused envdir parameter

Merge pull request #7032: [BEAM-6033] normalize httplib2.Http initialization and usage

Merge pull request #7250 from [BEAM-6181] Unexpected metrics non-fatal.

[BEAM-6181] Unexpected metrics should be non-fatal.

[BEAM-6178] Adding beam-sdks-java-bom, adding exportJavadoc flag for applyJavaNature (#7197)

[BEAM-2943] Fix typo in filename on FlinkRunner page

Merge pull request #7228 from [BEAM-4678] Combiner lifting in portable Flink.

[BEAM-4678] Support combiner lifting in portable Flink runner.

[BEAM-6181] Unexpected metrics should be non-fatal.

Merge pull request #7249: Fix various lint errors in Python presubmit.

Quiet c-extension-no-member lint warning.

Merge pull request #7207: [BEAM-6172] Adjust Flink metric names / Add metric reporting tests

Merge pull request #7196: [BEAM-6176] Support IPv6 addresses for Flink master url

Merge pull request #7238: [BEAM-6201] Data insertion pipeline

Remove trailing whitespace.

[BEAM-4678] Support combiner lifting in portable Flink runner.

Merge pull request #7189: [BEAM-5514] BigQueryIO doesn't handle quotaExceeded errors properly

Merge pull request #7179: [BEAM-3657] Port JoinExamplesTest off DoFnTester

[BEAM-5514] BigQueryIO doesn't handle quotaExceeded errors properly

update to use backoff for all IOExceptions in BigQuery insertAll

[BEAM-6240] Clean up duplicated SocketAddressFactory class.

[BEAM-5058] remove unused envdir parameter

Merge pull request #7064: [BEAM-6079] Add ability for CassandraIO to delete data

[BEAM-6079] Fix access level and clean up generics issues

[BEAM-6079] Add ability for CassandraIO to delete data

[BEAM-6201] Add SyntheticDataPubSubPublisher pipeline

[BEAM-6201] Move fromJsonString() method to SyntheticOptions class

[BEAM-6176] Support IPv6 addresses for Flink master url

The previous port parsing logic assumed colons to indicate a port number. That
assumption clearly can't be made for IPv6 addresses.

[BEAM-6172] Adjust Flink metric names / Add metric reporting tests

This picks up the metrics delimiter from the Flink config and removes the metric
type prefix. This improves consistency with Flink's defaults and makes metric
names more readable.

Merge pull request #6719 Upgrade to Apache Tika 1.19.1

[BEAM-4444] Parquet IO for Python SDK (#6763)

* [BEAM-4444] Parquet IO for Python SDK

  * add new dependency `pyarrow`
  * provide read, write ptransforms for parquet files on any file systems
  supported by Beam
  * source splitting is supported at row group granularity
  * partial read is supported by column selection
  * row group size is configurable for write ptransform
  * compression codec is configurable for write ptransform

Merge pull request #6862 from [BEAM-5866] structuralValue in List/MapCoder

[BEAM-5866] Override structuralValue in ListCoder and MapCoder

Merge pull request #6872 Clarify snippet for PipelineOptions subclass

Clarify snippet for PipelineOptions subclass

Merge pull request #6887 from coheigea/string_literals

Move string literals to the left hand side of the expression in a few places.

Merge pull request #7095 from HuangLED/update_postcommit_doc

Update instructions to post-commit policy web page.

Merge pull request #7127 from [BEAM-6120] Large gbk iterables

[BEAM-6120] Support retrieval of large gbk iterables over the state API.

[BEAM-6120] Support retrieval of large gbk iterables over the state API.

[BEAM-6186] Move combiner lifting out of line.

Merge pull request #7227 from [BEAM-6186] Optimization cleanup

[BEAM-6186] Optimization cleanup: move phase utilities out of local scope.

[BEAM-6167] Add class ReadFromTextWithFilename (Python) (#7193)

[BEAM-6195] Make ProcessRemoteBundleOperation map PCollectionId into correct OutputReceiver and throws Exception when there is more than one input PCollection. (#7223)

Merge pull request #7225 from udim/patch-2

[BEAM-6196] Redirect from nexmark page's older location

[BEAM-6139] Adding support for BQ GEOGRAPHY data type (#7144)

* Adding support for BQ GEOGRAPHY data type for Python Direct Runner

* Improving GEOGRAPHY documentation

* Improving GEOGRAPHY documentation

Merge pull request #7230 Fix precommits due to concurrent submissions.

Fix precommits due to concurrent submissions.

Fix precommits due to concurrent submissions.

[BEAM-6186] Optimization cleanup: move phase utilities out of local scope.

[BEAM-6194] Follow up with cleanup for https://github.com/apache/beam/pull/7015 (#7219)

Merge pull request #6739 [BEAM-5787] Fix test_translate_pattern on Python 3.7

[BEAM-5787] Fix test_translate_pattern on Python 3.7

Merge pull request #7062 Enabling the ArrayTypeStyle checkstyle module

Enabling the ArrayTypeStyle checkstyle module

Merge pull request #7185 Removing some unnecessary parentheses

Removing some unnecessary parentheses

Merge pull request #7192 from [BEAM-5167] Log unscheduled process bundle requests

[BEAM-5167] Log unscheduled process bundle requests

Redirect from nexmark page's older location

Currently searching for "beam nexmark" on Google returns this link 404 link as the first result:
https://beam.apache.org/documentation/sdks/java/nexmark/

Merge pull request #7182 from bramp/BEAM-6155

[BEAM-6155] Updates the GCS library the Go SDK uses.

Add QueueingBeamFnDataClient and make process, finish and start run on the same thread to support metrics. (#6786)

[BEAM-5321] Port transforms package to Python 3 (#7104)

* Port transforms package to Python 3

[BEAM-6181] Reporting user counters via MonitoringInfos in Portable Dataflow Runner. (#7202)

Merge pull request #7186: [BEAM-5920] Add additional owners for Community Metrics

Merge pull request #7214: Update PortableTimersExecutionTest to use PAssert

[BEAM-6159] Make Dataflow worker use ExecutableStage to process bundle (#7015)

Fixup User_COUNTER_URN_PREFIX to contain the trailing: (#7188)

Remove extra timeout code from PortableTimersExecutionTest.

[BEAM-6067] In Python SDK, specify pipeline_proto_coder_id property in non-Beam-standard CloudObject coders (#7081)

Merge pull request #7208: [BEAM-5859] Better handle fused composite stage names.

Merge pull request #7213 from [BEAM-6184] Add portable-runner dependency to example pom.xml

[BEAM-6184] Add portable-runner dependency to example pom.xml

Merge pull request #6691: [BEAM-5309] Add streaming support for HadoopFormatIO

[BEAM-5859] Better handle fused composite stage names.

I decided to default to truncated names because they both look
nicer and they have more information if the UI is going to
(implicitly or explicitly) truncate them on length anyways.

[BEAM-4150] Use unwindowed coder in FnApiRunner optimization phases.

Update PortableTimersExecutionTest to use PAssert, to prevent a concurrency issue collecting the test results.

Add portable-runner dependency to wordcount example as one of the
defaults.

[BEAM-6182] Disable conscrypt by default (#7203)

* Disable conscrypt by default

Merge pull request #7162 from chaimt/BEAM-6151

[BEAM-6151] MongoDbIO add support mongodb server with self signed ssl

Merge pull request #7205: [BEAM-5817] Add SQL bounded side input join to queries that are actually run

Merge pull request #7170 from [BEAM-6153] Re-enable coder optimization.

[BEAM-6153] Re-enable coder optimization.

Merge pull request #7204:  [BEAM-5884] Fix FieldType comparison in BeamSQL

[BEAM-5817] Add SQL bounded side input join to queries that are actually run

[BEAM-6180] Remove duplicated IdGenerator from runner harness and use IdGenerator from fnexecution instead. (#7201)

Merge pull request #7199: [BEAM-2400] Use getJobId() consistently

Merge pull request #6930: [BEAM-5462] get rid of <pipeline>.options deprecation warnings in tests

[BEAM-2400] Use getJobId() consistently

Merge pull request #7128: [BEAM-6077] If available, use max_parallelism for splitting unbounded source

Merge pull request #7129: [BEAM-6122] Update committer guidelines

Merge pull request #7187: [BEAM-1628] Allow empty port for flink master url

Merge pull request #6943: [BEAM-5778] Add integrations of Metrics API to Big Query for SyntheticcSources load tests in Python SDK

Merge pull request #7194: [BEAM-6174] Kryo dependency removed.

[BEAM-6174] Kryo dependency removed.

[BEAM-1628] Allow empty port for flink master url

This allows only specifying the host name without a port. It reads the port from
the configuration or uses the default Flink port if non configured. It does not
fall back to the special "[auto]" mode anymore if the port is omitted.

[BEAM-6077] Tests for read source translator

[BEAM-5167] Log unscheduled process bundle requrests

Merge pull request #7163 from markflyhigh/py-precommit-it

[BEAM-5058] Run basic ITs in Python Precommit in parallel

[BEAM-5462] get rid of <pipeline>.options deprecation warnings in tests

adding a new parameter `options` to `runner.run_pipeline` method

[BEAM-6033] normalize httplib2.Http initialization and usage

Creating apache_beam.internal.http_client for a common
Http client from httplib2.