Conduitの今

Conduitとは

• I/O を良い感じにやるためのライブラリ
  • 良い感じのストリーミング的なパーザ
  • 良い感じのバッファの自動管理
  • 良い感じのFlushing
  • 良い感じのリソース管理
• get rid of lazy-eval
  • 遅延I/O は良くない
  • http://d.hatena.ne.jp/tanakh/20100824 こちらも参照

便利なConduit達の例

• コーデック

main = runResourceT $ do
  sourceFile "utf8-txt.bz2" =$= bunzip2 =$= decode utf8 $$ sinkFile "decoded"

• プロセス

main = runResourceT $ do
  sourceCmd "ls -alF" =$= conduitCmd "sort" $$ sinkHandle stdout

今のConduit

• 唯一の型、Pipe
  • Pipeをつなぐという操作だけ
• たった2つの高レベルプリミティブ
  • await -> 上流からデータを受け取る
  • yield -> 下流にデータを流す
• すべてがMonad、MonadIO
  • Source、Conduitの中でIOを行うのもとても簡単！
  • ハンドルをオープンするPipeとか

例

idPipe = forever $ await >>= yield . fromJust

w8tow16 = forever $ do
  Just v1 <- await
  Just v2 <- await
  yield $ fromIntegral v1 * 256 + fromIntegral v2

これまでのあらすじ

• left-fold enumerator として Iteratee が発明される [Oleg 2008]
  • http://okmij.org/ftp/Streams.html
• "実用的な" iteratee 実装 2009-2011
  • http://hackage.haskell.org/package/iteratee
  • http://hackage.haskell.org/package/enumerator
• iterIO, Pipes 登場 (2011-)
  • iteratee, enumerator, enumeratee の統合
• Conduit出現 2011-2012
  • http://www.yesodweb.com/blog/2011/12/resourcet

Conduitとは

• I/O ライブラリ
  • ストリームライブラリ？
• Handle I/O
  • Sucks
• 遅延 I/O
  • Harmful
• Conduit
  • ユートピア！

enumeratorの問題点

• 例外安全

• リソースをちゃんと扱う

• enumeratee同士を連結できない

• enumerateeを書くのが難しすぎる
  • 書いたことある人なら分かるかと思いますが…

Conduitの歴史

• conduit-0.0
  • enumeratee の気に入らない点を修正したりとか
• conduit-0.1
  • 何だったっけ？
• conduit-0.2
  • Sourceがシンプルに
  • Sourceがpureに
• conduit-0.3
  • Souce, Conduit, Sinkの型が劇的にシンプルに
• conduit-0.4
  • Pipe化
    • Source, Conduit, Sink の型が遂に統合

私とConduit

• ResourceT、Conduitから分離されへんかなー
  • => 0.3でresourcetパッケージ分離
• SouceとConduitがMonad, MonadIOじゃないの辛いなあ、いっそPipeにならないかなあ
  • ⇒ 次の日ConduitがPipeになる

* Conduitいいよ！ *

まとめ

• CPSのコードややこしいし、ユーザにとっては設計どうでもいいし、どうせI/Oに使うのがメインなのだから、副作用を使ってUglyだけどシンプルに行くよ => Conduit-0.0

• 副作用がない場合にConduitが激遅だよ！やっぱりPureにしよう。コードも意外とシンプルになったね => Conduit-0.2

• Result型とかいらなかったね。あれ、3つの型が似てきた？Pipe？あれはダメだね => Conduit-0.3

• Pipe素晴らしい！ => Conduit-0.4

まとめのまとめ

• 今のConduitはPipeとかなり似ている

• リソース管理モナドの外付けによるリソース管理

Conduit これから

私とConduitその2

• Conduit入力消費するたびにリリーサが膨れるなー
  • Issue登録
  • Snoymanさん（Conduit作者）登場
  • 解決！（この間わずか2時間）
  • => 0.4.1に
• Conduit（Pipeモナド）遅いなー
  • 次の日、rewriteブランチが出来てた
  • すごい！
• Snoymanさんはエスパーか！？

次来る機能？（個人的に欲しい機能）

• Fusion
  • Conduitの連結が長くなっても、オーバーヘッド0で
  • rewriteブランチを生暖かくウォッチ中
• ListLikeに？
  • 出来るんじゃないのかなあ
  • なると嬉しいなあ
• Category インスタンス
  • 明らかにPipeは圏である
  • pipesパッケージではCategoryのインスタンス
  • Snoymanさんは、圏とかどうでもいいと仰っていますが…