1973年に完成した本館は、1960年代にメタボリズム・グループの建築運動を牽引した菊竹清訓氏の設計であり、立方体、円柱、三角柱を組み合わせたダイナミックな造形です。白い壁にビュフェの「Musée Bernard Buffet」の文字が映える、船の帆のようにも見える中央部分の大展示室は、中に入ると12メートルの吹き抜けの空間が広がり、トップライトからの自然光が荘厳な雰囲気を演出しています。本館はこの大展示室(三角柱)を囲む明るい左右の回廊(円柱)と、矩形(立方体)の展示室で構成されています。

本館から渡り廊下をぬけると、1988年に増築された新館へとつながります。
新館では、長年大きなスロープのある展示室をお楽しみいただいていましたが、2012年にリニューアルを行い、さまざまな作品の展示に対応できる広い空間に生まれ変わりました。同時に、収蔵・管理施設を充実させています。1996年に増築した別館は、新館から通路を経てつづく2階を汎用性の高いシンプルな立方体の企画展示室としています。明るい窓のある階段を下りると、1階にはビュフェこども美術館が設置されています。