Update .asf.yaml (#2)

Removed all.

This will allow to start a project from scratch without losing
the contributions' stats and others.

Removed tooling related to arrow crate.

Kept parquet

parquet: improve BOOLEAN writing logic and report error on encoding fail (#443)

* improve BOOLEAN writing logic and report error on encoding fail

When writing BOOLEAN data, writing more than 2048 rows of data will
overflow the hard-coded 256 buffer set for the bit-writer in the
PlainEncoder. Once this occurs, further attempts to write to the encoder
fail, becuase capacity is exceeded, but the errors are silently ignored.

This fix improves the error detection and reporting at the point of
encoding and modifies the logic for bit_writing (BOOLEANS). The
bit_writer is initially allocated 256 bytes (as at present), then each
time the capacity is exceeded the capacity is incremented by another
256 bytes.

This certainly resolves the current problem, but it's not exactly a
great fix because the capacity of the bit_writer could now grow
substantially.

Other data types seem to have a more sophisticated mechanism for writing
data which doesn't involve growing or having a fixed size buffer. It
would be desirable to make the BOOLEAN type use this same mechanism if
possible, but that level of change is more intrusive and probably
requires greater knowledge of the implementation than I possess.

resolves: #349

* only manipulate the bit_writer for BOOLEAN data

Tacky, but I can't think of better way to do this without
specialization.

* better isolation of changes

Remove the byte tracking from the PlainEncoder and use the existing
bytes_written() method in BitWriter.

This is neater.

* add test for boolean writer

The test ensures that we can write > 2048 rows to a parquet file and
that when we read the data back, it finishes without hanging (defined as
taking < 5 seconds).

If we don't want that extra complexity, we could remove the
thread/channel stuff and just try to read the file and let the test
runner terminate hanging tests.

* fix capacity calculation error in bool encoding

The values.len() reports the number of values to be encoded and so must
be divided by 8 (bits in a bytes) to determine the effect on the byte
capacity of the bit_writer.

Unvendor Archery (#459)

Doctests for DecimalArray. (#414)

* Doctests for DecimalArray.

* fixup! Doctests for DecimalArray.

* fixup! fixup! Doctests for DecimalArray.

use iterator for partition kernel implementation (#438)

Update docs + email template (#450)

Implement the Iterator trait for the json Reader. (#451)

* Implement the Iterator trait for the json Reader.

* Use transpose.

Add Decimal to CsvWriter and improve debug display (#406)

* Add Decimal to CsvWriter and improve debug display

* Measure CSV writer instead of file and data creation

* Re-use decimal formatting

remove unnecessary wraps in sortk (#445)

remove clippy unnecessary wraps (#449)

Remove DictionaryArray::keys_array method and replace usages by the keys method (#419)

Implement faster arrow array reader (#384)

* implement ArrowArrayReader

* change StringArrayConverter to use push_unchecked for offsets

* add ASF license header to new files

* fix clippy issues

* cleanup arrow_array_reader benches

* cleanup arrow_array_reader

* change util module to limit public exports from test_common sub-module

* fix rustfmt issues

refactor lexico sort (#424)

Update release readme.md (#436)

Don't start search on page 2, make link nicer looking

Reenable MIRI check (#421)

window::shift to work for all array types (#388)

* add more doc test for window::shift

* use Ok(make_array(array.data_ref().clone()))

* shift array for not only primitive cases

* include more test cases

* add back copied

* fix renaming

make sure that only concat preallocates buffers (#382)

* MutableArrayData::with_capacities

* better pattern matching

* add binary capacities

* add list child data

* add struct capacities

* add panic for dictionary type

* change dictionary capacity enum variant

refactor lexico sort (#423)

Sort by float lists (#420)

Fix bug with null buffer offset in boolean not kernel (#418)

Derive Eq and PartialEq for SortOptions (#425)

Fix out of bounds read in bit chunk iterator (#416)

* Fix out of bounds read in bit chunk iterator

* Add comment why reading one additional byte is enough

Add set_bit to BooleanBufferBuilder to allow mutating bit in index (#383)

* Add set_bit to BooleanBufferBuilder to allow mutating bits in the builder

* Fix tests

* Update builder.rs

* Update builder.rs

* Fix clippy failures

Co-authored-by: Boaz Berman <boaz@codota.com>

Add labels to cherry pick scripts + writeup (#409)

* Add labels when cherry picking with script

* fixup

* document tags

* add note

* prettier

use prettiery to auto format md files (#398)

MINOR: update install instruction (#400)

We have frequent releases and honoring semver, removed minor and patch version pinning

Add (simd) modulus op (#317)

* Add (simd) modulus op

* fix typo

* fix feature = "simd"

* revert ModulusByZero

add more tests for window::shift and handle boundary cases (#386)

* add more doc test for window::shift

* handle i64::MIN first

* use Ok(make_array(array.data_ref().clone()))

Automatic cherry-pick script (#339)

* Automatic cherry-pick script

* switch from alamb to apache

* autopep8

* flake8

* add rat

* tweaks

* Add some docs to the README

Respect max rowgroup size in Arrow writer (#381)

* Respect max rowgroup size in Arrow writer

* simplify while loop

* address review feedback

Fix typo in release script, update release location (#380)

* Fix typo in release script

* release to `arrow-rs-{version}` directory

Add doctest for ArrayBuilder (#367)

Doctests for FixedSizeBinaryArray (#378)

* Doctests for BooleanArray.

* Update arrow/src/array/array_boolean.rs

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
* Doctests for FixedSizeBinaryArray.

* Fix formatting.

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Reduce memory usage of concat (large)utf8 (#348)

* reduce memory needed for concat

* reuse code for str allocation buffer

Simplify window using null array (#370)

Co-authored-by: Daniel Heres <danielheres@MBP-van-Olaf.home>

Fix version in readme (#365)

Closes #364

Remove superfluous space (#363)

Only register Flight.proto with cargo if it exists (#351)

Add crate badges (#362)

* Add crate badges

* Format markdown

Fix filter UB and add fast path (#341)

* fix ub in filter record_batch

* filter fast path

* add all false fast path

* use new_empty_array

* rename filter kernel argument

rename argument: 'filter' to 'predicate'
to reduce name collissions.

allow `SliceableCursor` to be constructed from an `Arc` directly (#369)

This is backwards-compatible since we change the argument from `Vec<u8>`
to `impl Into<Arc<Vec<u8>>>` and the following implementations exists in
std:

- `impl<T, U> Into<U> for T where U: From<T>` (reverse direction)
- `impl<T> From<T> for Arc<T>` (create `Arc` from any type)

Furthermore `Arc<Vec<u8>>` can be passed directly now because the following
implementations exists:

- `impl<T> From<T> for T` (identity)

Closes #368.

Disable MIRI check until it runs cleanly on CI (#360)

ensure null-counts are written for all-null columns (#307)

Fixes #306.

allow to read non-standard CSV (#326)

* refactor Reader::from_reader

split into build_csv_reader, from_csv_reader
add escape, quote, terminator arg to build_csv_reader

* add escape,quote,terminator field to ReaderBuilder

schema inference support for non-standard CSV

  add fn infer_file_schema_with_csv_options
  add fn infer_reader_schema_with_csv_options

ReaderBuilder support for non-standard CSV

add escape, quote, terminator field
add fn with_escape, with_quote, with_terminator
change ReaderBuilder::build for non-standard CSV

* minimize API change

* add tests

add #[test] fn test_non_std_quote
add #[test] fn test_non_std_escape
add #[test] fn test_non_std_terminator

* apply cargo fmt

Doctests for BooleanArray. (#338)

* Doctests for BooleanArray.

* Update arrow/src/array/array_boolean.rs

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Document and automate new release process (#299)

* Add Release README and Scripts to create and release tarballs

* Suggestions from Andy Grove

respect offset in utf8 and list casts (#335)

feature gate ipc reader/writer (#336)

parquet: Speed up `BitReader`/`DeltaBitPackDecoder` (#325)

* parquet: Avoid temporary `BufferPtr`s in `BitReader`

From a quick test, this speeds up reading delta-packed int columns by
over 30%.

* parquet: Avoid some allocations in `DeltaBitPackDecoder`

From a quick test, it seems to decode around 10% faster overall.

Enable wasm32 as a target architecture for the SIMD feature  (#324)

* Add wasm32 as target_arch for simd

Signed-off-by: roee88 <roee88@gmail.com>
* Allow wasm32 as a target arch for SIMD

Signed-off-by: roee88 <roee88@gmail.com>

fix comparison of dictionaries with different values arrays (#332) (#333)

Fix undefined behavior in FFI (#323)

- Fix UB due to aliasing
- Enable MIRI in CI for most tests in arrow crate

Signed-off-by: roee88 <roee88@gmail.com>

Add ported Rust release verification script (#331)

* Add ported Rust release verification script

* Minor simplifications. (#1)

Co-authored-by: Jorge Leitao <jorgecarleitao@gmail.com>

return reference from DictionaryArray::values() (#313) (#314)

Signed-off-by: Raphael Taylor-Davies <r.taylordavies@googlemail.com>

feature gate csv functionality (#312)

* feature gate csv functionality

* mock read_csv example

* clippy

* mock read_csv_infer_schema example

* add tests of --no-default-features to CI

fix invalid null handling in filter (#296)

* fix invalid null handling in filter

* take offset into account

* remove incorrect UB warning

Doctests for StringArray and LargeStringArray. (#330)

inline PrimitiveArray::value (#329)

Mutablebuffer::shrink_to_fit (#318)

* Mutablebuffer::shrink_to_fit

* add shrink_to_fit explicit test

Fix FFI and add support for Struct type (#287)

* fix: support nested types in FFI

Ported from https://github.com/jorgecarleitao/arrow2

Fix #20
Fix #251

Signed-off-by: roee88 <roee88@gmail.com>
* Removed Clone from FFI_ArrowArray

Signed-off-by: roee88 <roee88@gmail.com>
* Add nesting to FFI struct test

Signed-off-by: roee88 <roee88@gmail.com>

Added changelog generator script and configuration. (#289)

Add Send to the ArrayBuilder trait (#291)

Version upgrades (#304)

Remove old release scripts (#293)

* Remove old release scripts

* Add rat files back in

manually bump development version (#288)

Added Decimal support to pretty-print display utility (#230) (#273)

* Added Decimal support to pretty-print display utility (#230)

* Applied cargo fmt to fix linting errors

* Added proper printing for decimals based on scale, moved tests to pretty.rs

* Applied cargo fmt on pretty test

Co-authored-by: Manish Gill <manish.gill@tomtom.com>

Fix subtraction underflow when sorting string arrays with many nulls (#285)

Fix null struct and list roundtrip (#270)

* fix null struct and list inconsistencies in writer

* fix list reader null and empty slot calculation

* remove stray TODOs

Speed up bound checking in `take` (#281)

* WIP improve take performance

* WIP

* Bound checking speed

* Simplify

* fmt

* Improve formatting

Update PR template by commenting out instructions (#278)

Some contributors don't remove the guidelines when creating PRs, so it might be more convenient if we hide them behind comments.
The comments are still visible when editing, but are not displayed when the markdown is rendered

support full u32 and u64 roundtrip through parquet (#258)

* re-export arity kernels in `arrow::compute`

Seems logical since all other kernels are re-exported as well under this
flat hierarchy.

* return file from `parquet::arrow::arrow_writer::tests::[one_column]_roundtrip`

* support full arrow u64 through parquet

- updates arrow to parquet type mapping to use reinterpret/overflow cast
  for u64<->i64 similar to what the C++ stack does
- changes statistics calculation to account for the fact that u64 should
  be compared unsigned (as per spec)

Fixes #254.

* avoid copying array when reading u64 from parquet

* support full arrow u32 through parquet

This is idential to the solution we now have for u64.

1.52 clippy fixes (#267)

Fix typo in csv/reader.rs (#265)

Fix empty Schema::metadata deserialization error (#260)

* Fix empty Schema::metadata deserialization error

Hope this fixes issue #241

* Rename UT name to `test_ser_de_metadata`

Co-authored-by: hulunbier <hulunbier>

update datafusion and ballista links (#259)

Added env to run rust in integration. (#253)

fix NaN handling in parquet statistics (#256)

Closes #255.

fix parquet max_definition for non-null structs (#246)

* fix parquet max_definition for non-null structs

* clippy: needless reference

* Update parquet/src/arrow/levels.rs

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Made integration tests always run. (#248)

Improve docs for NullArray, new_null_array and new_empty_array (#240)

* Update docs in null_array.rs so they are discoverable

* Add doc examples for new_null_array and new_empty_array

sort_primitive result is capped to the min of limit or values.len (#236)

* sort_primitive result is capped to the min of limit or values.len

fixes #235

* Fixed length calculation of nulls to include

* Add more sort_primitive tests for sorts /w limit

Disabled rebase needed until demonstrate working. (#243)

pin flatbuffers to 0.8.4 (#239)

* pin flatbuffer to 0.8.4

* =0.8.2

[Parquet] Read list field correctly (#234)

Fix code examples for RecordBatch::try_from_iter (#231)

Support string dictionaries in csv reader (#228) (#229)

ARROW-12411: [Rust] Create RecordBatches from Iterators (#7)

support LargeUtf8 in sort kernel (#26)

Removed unused files (#22)

* Removed unused files.

* Removed un-used files.

Support auto-vectorization for min/max using multiversion (#9)

Add GitHub templates (#17)

Added rebase-needed bot (#13)

Buffer::from_slice_ref set correct capacity (#18)

Fixed ARROW-12504

ARROW-12493: Add support for writing dictionary arrays to CSV and JSON (#16)

ARROW-12426: [Rust] Fix concatentation of arrow dictionaries (#15)

Added Integration tests against arrow (#10)

* fix indent

* Made CI run on any change. (#5)

* Removed bot comment about title and JIRA. (#4)

* Allow creating issues. (#6)

* Trying running integration tests.

Co-authored-by: Andy Grove <andygrove73@gmail.com>
Co-authored-by: Andy Grove <andygrove@users.noreply.github.com>

Update URLs (#14)