Add Arrow.Stream struct for iterating record bactches (#28)
authorJacob Quinn <quinn.jacobd@gmail.com>
Thu, 1 Oct 2020 18:20:01 +0000 (12:20 -0600)
committerJacob Quinn <quinn.jacobd@gmail.com>
Sat, 3 Oct 2020 08:06:24 +0000 (02:06 -0600)
commitaac4a38808dd450d6db3a6f20cf41c769e707e79
treec159937210789983cb420394c0a4d7838657131a
parent2082d454fc23bdad8130e75299537b611b7f6f37
Add Arrow.Stream struct for iterating record bactches (#28)

* Add Arrow.Stream struct for iterating record bactches

Implements #23. `Arrow.Stream` will basically take the same arguments as
`Arrow.Table`, but upon construction, will only parse the first ipc
message which must be a schema message. It then returns the
`Arrow.Stream` object, which itself can be iterated, with each iteration
producing a `Arrow.Table` consisting of the columns of a record batch
message. This allows defining `Tables.partitions` on `Arrow.Stream`
which will allow other Tables.jl sinks to process record batches as
partitions when operating on data.

* fix test
src/table.jl
test/runtests.jl
test/testtables.jl