HDFS-16582. Expose aggregate latency of slow node as perceived by the reporting node (#4323)

Reviewed-by: Wei-Chiu Chuang <weichiu@apache.org>
Signed-off-by: Tao Li <tomscut@apache.org>

YARN-10465. Support getNodeToLabels, getLabelsToNodes, getClusterNodeLabels API's for Federation (#4317)

HADOOP-18224. Upgrade maven compiler plugin to 3.10.1 (#4267)

Signed-off-by: Akira Ajisaka <aajisaka@apache.org>

HDFS-16453. Upgrade okhttp from 2.7.5 to 4.9.3 (#4229)

Co-authored-by: Ashutosh Gupta <ashugpt@amazon.com>
Signed-off-by: Akira Ajisaka <aajisaka@apache.org>

HADOOP-18120. Hadoop auth does not handle HTTP Headers in a case-insensitive way. Contributed by Janos Makai.

HADOOP-18245 Extend KMS related exceptions that get mapped to ConnectException (#4329)

YARN-11152. QueueMetrics is leaking memory when creating a new queue during reinitialisation

YARN-11147. ResourceUsage and QueueCapacities classes provide node label iterators that are not thread safe

HDFS-16540. Addendum: Data locality is lost when DataNode pod restarts in kubernetes. (#4326)

HADOOP-18229. Fix Hadoop-Common JavaDoc Errors (#4292)

Contributed by slfan1989

HADOOP-18237. Upgrade Apache Xerces Java to 2.12.2 (#4318)

Upgrade Apache Xerces Java to 2.12.2 due to handle vulnerability CVE-2022-23437

Contributed by Ashutosh Gupta

HADOOP-18198. Release 3.3.3: release notes and jdiff files.

* Add the changelog and release notes
* add all jdiff XML files
* update the project pom with the new stable version

Change-Id: Iaea846c3e451bbd446b45de146845a48953d580d

HADOOP-18234. Fix s3a access point xml examples (#4309)

Contributed by Ashutosh Gupta

YARN-11133. YarnClient gets the wrong EffectiveMinCapacity value (#4280)

* Update QueueConfigurationsPBImpl.java

* Update TestPBImplRecords.java

* Update TestPBImplRecords.java

* Update TestPBImplRecords.java

* Update TestPBImplRecords.java

HADOOP-18228. Update hadoop-vote to use HADOOP_RC_VERSION dir (#4272)

Signed-off-by: stack@apache.org

YARN-11092. Upgrade jquery ui to 1.13.1 (#4260)

Co-authored-by: Ashutosh Gupta <ashugpt@amazon.com>
Signed-off-by: Akira Ajisaka <aajisaka@apache.org>

YARN-11122. Support getClusterNodes API in FederationClientInterceptor (#4274)

YARN-10080. Support show app id on localizer thread pool (#4283)

Signed-off-by: Akira Ajisaka <aajisaka@apache.org>

MAPREDUCE-7377. Remove unused imports in MapReduce project (#4299)

Signed-off-by: Akira Ajisaka <aajisaka@apache.org>

YARN-11073. Avoid unnecessary preemption for tiny queues under certain corner cases (#4110)

Co-authored-by: Jian Chen <jian.chen@airbnb.com>
Signed-off-by: Akira Ajisaka <aajisaka@apache.org>

YARN-11123. ResourceManager webapps test failures due to org.apache.hadoop.metrics2.MetricsException and subsequent java.net.BindException: Address already in use. Contributed by Szilard Nemeth

Revert "HDFS-14750. RBF: Support dynamic handler allocation in routers (#4199)" (#4306)

HDFS-14750. RBF: Support dynamic handler allocation in routers (#4199)

YARN-11126. ZKConfigurationStore Java deserialisation vulnerability. Contributed by Tamas Domok

HDFS-16525.System.err should be used when error occurs in multiple methods in DFSAdmin class (#4122)

HADOOP-18193:Support nested mount points in INodeTree

Fixes #4181

Signed-off-by: Owen O'Malley <oomalley@linkedin.com>

HDFS-16465. Remove redundant strings.h inclusions (#4279)

* Remove redundant strings.h inclusions

* strings.h was included in a bunch of
  C/C++ files and were redundant.
* Also, strings.h is not available on
  Windows and thus isn't cross-platform
  compatible.

* Build for all platforms in CI

* Revert "Build for all platforms in CI"

This reverts commit 2650f047bd6791a5908cfbe50cc8e70d42c512cb.

* Debug failure on Centos 8

* Skipping pipeline run on
  Centos 7 to debug the
  failure on Centos 8.

* Revert "Debug failure on Centos 8"

This reverts commit e365e34d6fab9df88f4df622910ddb28a8c8796f.

YARN-11114. RMWebServices returns only apps matching exactly the submitted queue name. Contributed by Szilard Nemeth

MAPREDUCE-7379. RMContainerRequestor#makeRemoteRequest has confusing log message. Contributed by Ashutosh Gupta

YARN-10850. TimelineService v2 lists containers for all attempts when filtering for one. Contributed by Benjamin Teke

YARN-11141. Capacity Scheduler does not support ambiguous queue names when moving application across queues. Contributed by Andras Gyori

YARN-11130. removed unused import (#4276)

HDFS-16568. dfsadmin -reconfig option to start/query reconfig on all live datanodes (#4264)

Signed-off-by: Tao Li <tomscut@apache.org>

HADOOP-18222. Prevent DelegationTokenSecretManagerMetrics from registering multiple times

Fixes #4266

Signed-off-by: Owen O'Malley <oomalley@linkedin.com>

Fix TestDFSStripedInputStreamWithRandomECPolicy (#4291)

MAPREDUCE-7376. AggregateWordCount fetches wrong results. (#4257). Contributed by Ayush Saxena.

Reviewed-by: Steve Loughran <stevel@apache.org>

HDFS-16572. Fix typo in readme of hadoop-project-dist

HADOOP-17479. Fix the examples of hadoop config prefix (#4197)

Signed-off-by: Akira Ajisaka <aajisaka@apache.org>

HDFS-16185. Fix comment in LowRedundancyBlocks.java (#4194)

Signed-off-by: Akira Ajisaka <aajisaka@apache.org>

HADOOP-16515. Update the link to compatibility guide (#4226)

Co-authored-by: Ashutosh Gupta <ashugpt@amazon.com>
Signed-off-by: Akira Ajisaka <aajisaka@apache.org>

HDFS-16520. Improve EC pread: avoid potential reading whole block (#4104)

Reviewed-by: Hui Fei <ferhui@apache.org>
Reviewed-by: Takanobu Asanuma <tasanuma@apache.org>
Signed-off-by: Wei-Chiu Chuang <weichiu@apache.org>

HDFS-16564. Use uint32_t for hdfs_find (#4245)

* hdfs_find uses u_int32_t type for
  storing the value for the max-depth
  command line argument.
* The type u_int32_t isn't standard,
  isn't available on Windows and thus
  breaks cross-platform compatibility.
  We need to replace this with uint32_t
  which is available on all platforms since
  it's part of the C++ standard.

HADOOP-18168. Fix S3A ITestMarkerTool use of purged public bucket. (#4140)

This moves off use of the purged s3a://landsat-pds bucket, so fixing tests
which had started failing.
* Adds a new class, PublicDatasetTestUtils to manage the use of public datasets.
* The new test bucket s3a://usgs-landsat/ is requester pays, so depends upon
  HADOOP-14661.

Consult the updated test documentation when running against other S3 stores.

Contributed by Daniel Carl Jones

Change-Id: Ie8585e4d9b67667f8cb80b2970225d79a4f8d257

Revert "HADOOP-18168. . (#4140)"

This reverts commit 6ab7b72cd61a16f7bcf0d7cae15d1d13b04e1eb1.

HADOOP-18168. . (#4140)

This moves off use of the purged s3a://landsat-pds bucket, so fixing tests
which had started failing.
* Adds a new class, PublicDatasetTestUtils to manage the use of public datasets.
* The new test bucket s3a://usgs-landsat/ is requester pays, so depends upon
  HADOOP-14661.

Consult the updated  test documentation when running against other S3 stores.

Contributed by Daniel Carl Jones

HADOOP-18198. add -mvnargs option to create-release command line (#4239)

This allows for builds to be run with options like
--mvnargs="-Dhttp.keepAlive=false -Dmaven.wagon.http.pool=false"

Contributed by Ayush Saxena.

Change-Id: I396e82d0915d679657d063a948f865041bcdde29

HDFS-16562. Upgrade moment.min.js to 2.29.2 (#4240)

HDFS-16521. DFS API to retrieve slow datanodes (#4107)

Signed-off-by: stack <stack@apache.org>
Signed-off-by: Wei-Chiu Chuang <weichiu@apache.org>

YARN-11116. Migrate Times util from SimpleDateFormat to thread-safe DateTimeFormatter class (#4242)

Co-authored-by: Jonathan Eagles <jeagles@verizonmedia.com>
Signed-off-by: Akira Ajisaka <aajisaka@apache.org>

YARN-10187. Removing hadoop-yarn-project/hadoop-yarn/README as it is no longer maintained. (#4222)

Co-authored-by: Ashutosh Gupta <ashugpt@amazon.com>
Signed-off-by: Akira Ajisaka <aajisaka@apache.org>

HADOOP-18219. Fix shaded client test failure (#4254)

This patch MUST be cherrypicked into all branches with
HADOOP-15983 Use jersey-json that is built to use jackson2

Contributed by Akira Ajisaka

HDFS-16256. Minor fix in HDFS Fedbalance document (#4192)

HDFS-16468. Define ssize_t for Windows (#4228)

* Some C/C++ files use ssize_t data type.
  This isn't available for Windows and we
  need to define an alias for this and set it
  to an appropriate type to make it cross
  platform compatible.

HDFS-16553. Fix checkstyle for the length of BlockManager construction method over limit. (#4211). Contributed by Chengwei Wang.

HDFS-16528. Reconfigure slow peer enable for Namenode (#4186)

HDFS-16540. Data locality is lost when DataNode pod restarts in kubernetes (#4170)

This reverts the previous commit 4e47eb66d123014b653d2a2c278a35366902d8a0
undone so I could reapply with the '.' after the HDFS-16540 as is done
in all other commits.

Revert "HDFS-16540 Data locality is lost when DataNode pod restarts in kubernetes (#4170)"

Revert to add the '.' after HDFS-16540 so commit message format matches
precedent

This reverts commit bda0881bf90ae64b32dbaf7b42413e18598e434d.

HDFS-16540 Data locality is lost when DataNode pod restarts in kubernetes (#4170)

When DN with the same UUID is registered with a different IP, host2DatanodeMap needs to be updated accordingly.

HADOOP-15983. Use jersey-json that is built to use jackson2 (#3988)

Signed-off-by: Akira Ajisaka <aajisaka@apache.org>

HDFS-16539. RBF: Support refreshing/changing router fairness policy controller without rebooting router (#4168)

HDFS-16554. Remove unused configuration dfs.namenode.block.deletion.increment. (#4213). Contributed by Chengwei Wang.

HADOOP-18216. io.file.buffer.size must be positive (#4220)

Documents that the buffer size must be > 0

Contributed by Jingxuan Fu.

HADOOP-18167. Add metrics to track delegation token secret manager op… (#4092)

* HADOOP-18167. Add metrics to track delegation token secret manager operations

HDFS-16488. [SPS]: Expose metrics to JMX for external SPS (#4234)

YARN-10303. Fixing rest api example, status code error and other typos in ResourceManagerRest.md (#4221)

MAPREDUCE-7246. In MapredAppMasterRest#Mapreduce_Application_Master_Info_API, updating the datatype of appId to "string". (#4223)

Co-authored-by: Ashutosh Gupta <ashugpt@amazon.com>
Signed-off-by: Akira Ajisaka <aajisaka@apache.org>

HDFS-16255. RBF: Fix dead link to fedbalance document (#4193)

Signed-off-by: Akira Ajisaka <aajisaka@apache.org>

HADOOP-16202. Enhanced openFile(): hadoop-azure changes. (#2584/4)

Stops the abfs connector warning if openFile().withFileStatus()
is invoked with a FileStatus is not an abfs VersionedFileStatus.

Contributed by Steve Loughran.

Change-Id: I85076b365eb30aaef2ed35139fa8714efd4d048e

HADOOP-16202. Enhanced openFile(): hadoop-aws changes. (#2584/3)

S3A input stream support for the few fs.option.openfile settings.
As well as supporting the read policy option and values,
if the file length is declared in fs.option.openfile.length
then no HEAD request will be issued when opening a file.
This can cut a few tens of milliseconds off the operation.

The patch adds a new openfile parameter/FS configuration option
fs.s3a.input.async.drain.threshold (default: 16000).
It declares the number of bytes remaining in the http input stream
above which any operation to read and discard the rest of the stream,
"draining", is executed asynchronously.
This asynchronous draining offers some performance benefit on seek-heavy
file IO.

Contributed by Steve Loughran.

Change-Id: I9b0626bbe635e9fd97ac0f463f5e7167e0111e39

HADOOP-16202. Enhanced openFile(): mapreduce and YARN changes. (#2584/2)

These changes ensure that sequential files are opened with the
right read policy, and split start/end is passed in.

As well as offering opportunities for filesystem clients to
choose fetch/cache/seek policies, the settings ensure that
processing text files on an s3 bucket where the default policy
is "random" will still be processed efficiently.

This commit depends on the associated hadoop-common patch,
which must be committed first.

Contributed by Steve Loughran.

Change-Id: Ic6713fd752441cf42ebe8739d05c2293a5db9f94

HADOOP-16202. Enhanced openFile(): hadoop-common changes. (#2584/1)

This defines standard option and values for the
openFile() builder API for opening a file:

fs.option.openfile.read.policy
 A list of the desired read policy, in preferred order.
 standard values are
 adaptive, default, random, sequential, vector, whole-file

fs.option.openfile.length
 How long the file is.

fs.option.openfile.split.start
 start of a task's split

fs.option.openfile.split.end
 end of a task's split

These can be used by filesystem connectors to optimize their
reading of the source file, including but not limited to
* skipping existence/length probes when opening a file
* choosing a policy for prefetching/caching data

The hadoop shell commands which read files all declare "whole-file"
and "sequential", as appropriate.

Contributed by Steve Loughran.

Change-Id: Ia290f79ea7973ce8713d4f90f1315b24d7a23da1

Revert "HDFS-16488. [SPS]: Expose metrics to JMX for external SPS (#4035)" (#4232)

HDFS-16488. [SPS]: Expose metrics to JMX for external SPS (#4035)

HDFS-16519. Add throttler to EC reconstruction (#4101)

Reviewed-by: litao <tomleescut@gmail.com>
Signed-off-by: Takanobu Asanuma <tasanuma@apache.org>

HDFS-16552. Fix NPE for TestBlockManager (#4210)

HDFS-16556. Fix typos in distcp (#4217)

HADOOP-17564. Fix typo in UnixShellGuide.html (#4195)

contributed by Ashutosh Gupta

YARN-11111. Recovery failure when node-label configure-type transit from delegated-centralized to centralized (#4200)

HADOOP-17551. Upgrade maven-site-plugin to 3.11.0 (#4196)

Reviewed-by: Ayush Saxena <ayushsaxena@apache.org>
Signed-off-by: Akira Ajisaka <aajisaka@apache.org>

HDFS-16500. Make asynchronous blocks deletion lock and unlock durtion threshold configurable. (#4061). Contributed by Chengwei Wang.

Revert "HDFS-16531. Avoid setReplication writing an edit record if old replication equals the new value (#4148). Contributed by Stephen O'Donnell."

This reverts commit dbeeee03639f41a022dd07d5fc04e3aa65a94b5f.

HDFS-16526. Addendum Add metrics for slow DataNode (#4191)

HDFS-16544. EC decoding failed due to invalid buffer (#4179)

HADOOP-18172: Changed scope for isRootInternalDir/getRootFallbackLink for InodeTree (#4106)

* HADOOP-18172: Change scope of InodeTree and its member methods to make them accessible from outside package.

Co-authored-by: Xing Lin <xinglin@linkedin.com>

HDFS-16035. Remove DummyGroupMapping as it is not longer used anywhere. (#4183)

Signed-off-by: Akira Ajisaka <aajisaka@apache.org>

HDFS-16538. EC decoding failed due to not enough valid inputs (#4167)

Co-authored-by: liubingxing <liubingxing@bigo.sg>

HADOOP-18202. create-release fails fatal: unsafe repository (#4188)

Since April 2022/CVE-2022-24765, git refuses to work in directories
whose owner != the current user, unless explicitly told to trust it.

This patches the create-release script to trust the /build/source
dir mounted from the hosting OS, whose userid is inevitably different
from that of the account in the container running git.

Contributed by: Steve Loughran, Ayush Saxena and the new git error messages

HDFS-16541. Fix a typo in NameNodeLayoutVersion (#4176)

HDFS-16389.Improve NNThroughputBenchmark test mkdirs. (#3819)

Reviewed-by: Viraj Jasani <vjasani@apache.org>
Reviewed-by: Akira Ajisaka <aajisaka@apache.org>
Signed-off-by: Wei-Chiu Chuang <weichiu@apache.org>

HDFS-16535. SlotReleaser should reuse the domain socket based on socket paths (#4158)

Reviewed-by: Lisheng Sun <sunlisheng@apache.org>

HDFS-16531. Avoid setReplication writing an edit record if old replication equals the new value (#4148). Contributed by Stephen O'Donnell.

HDFS-16534. Split FsDatasetImpl from block pool locks to volume grain locks. (#4141) Contributed by limingxiang.

Signed-off-by: He Xiaoqiao <hexiaoqiao@apache.org>

HDFS-16526. Add metrics for slow DataNode (#4162)

HADOOP-18196. Remove replace-guava from replacer plugin (#4152)

YARN-11107. Addendum. When NodeLabel is enabled for a YARN cluster, AM blacklist program does not work properly. (#4175)

HADOOP-18201. Remove endpoint config overrides for ITestS3ARequesterPays (#4169)

Contributed by Daniel Carl Jones.

HDFS-16456. EC: Decommission a rack with only on dn will fail when the rack number is equal with replication (#4126)

HDFS-16509. Fix decommission UnsupportedOperationException (#4077). Contributed by daimin.

HDFS-16479. EC: NameNode should not send a reconstruction work when the source datanodes are insufficient (#4138)

YARN-11107. When NodeLabel is enabled for a YARN cluster, AM blacklist program does not work properly. Contributed by zhangxiping1