寿永４年(1185年）壇ノ浦の戦いで平家は滅亡。貴族文化も終わりをつげますが、物語はここからが始まりです。 平家の一部は、難を逃れて九州に渡り、球磨の領主矢瀬氏を頼り、さらに人吉地方の奥地に落ちのびます。

言い伝えによれば、人吉地方に落ちのびた平家の人々が、栄華の夢のなぐさめに木地桐木（きじざつ）作りを始めたのが、花手箱の由来と言われています。

人吉地方は、また木地師の里です（木地師は、日本国中の良材を得る特権を持った誇り高い職業集団）。
木地師の歴史は古く、職祖（しょくそ）とされる「惟高親王（これたかしんのう」（849〜897）の伝説も日本各地に残っています。

京の都に縁があり、職業集団として強い団結力と日本国中の山間部を移動し集落を築く木地師。

平家の落人と木地師のつながりが、南国の人吉地方に文化を生み出したのかもしれません。人吉地方の人々は民間工芸として”花手箱”を長く守ってきました。