Python

PySparkのshowメソッドの行数指定と表示を省略しない方法

PySparkでSpark DataFrameを表示したいときはshowメソッドを使うかと思いますが、普通にdf.show()みたいにやるだけですと、カラムの内容が省略されて表示されてしまいます。

内容を全てちゃんと確認したい時にはこれはやっかいですよね。

それに表示行数も指定したいでしょう。

というわけで、今回はshowメソッドでの行数指定と表示を省略しない方法を紹介します。

 

showメソッドで行数指定

まずは行数を指定する方法です。

こちらは簡単で、showメソッドのカッコの中に表示したい行数を入力すればOKです。

 

 

このようにすればちゃんと10行が表示されることがわかるかと思います。

 

 

ただし、このままでは、まだdescription列が省略されて表示されてしまっています。

ですので、次は省略しない方法です。

 

カラムの内容を省略せずに表示

カラム内容を省略しない場合は、行数指定のあとの第二引数にFalseと入れれば省略されずに表示されます。

この第二引数はtruncateを意味しており、Falseなら省略せず、Trueとすれば省略して表示します。

 

 

 
デフォルトはTrue設定です。

Falseとするだけでなく、truncate=Falseとした方がわかりやすいですね。

行数についてもn=10とすると、もっとわかりやすいです。

 

 
こんな感じでPySparkでshowでデータフレームを確認する時には、こちらの引数を気をつけてみてください。

おすすめ記事

1

お疲れさまです! 久しぶりの更新になってしまいましたが、僕が未経験からデータサイエンティストになるまでの転職活動の全記録を書き残しておきたいと思います。 僕は博士号を取得後に研究員として仕事をしていま ...

2

こんにちわ、さとしです! 気がつけばこのデータサイエンティスト転職から、1年が経とうとしています。 今はご時世的に外にも出られず、変化があまりない生活を送ったせいもあってか、なんかあっという間に1年が ...

3

データサイエンティストに転職して1年が経ち、いろいろな業務を経験させてもらいつつ、自分でもある程度本を読んできました。 仕事の話は下記の記事で書きましたが、自分で読んだ本については書いていないのでこの ...

-Python

Copyright© さとぶろぐ , 2022 All Rights Reserved Powered by AFFINGER5.