平山郁夫一九三○年出生于日本广岛县濑户内海、濑户田町的生口岛。兄弟姐妹九人，他是次子。这个自幼就喜欢画画儿的顽皮少年。常在家门前的道路上用滑石画画儿，大人们看了他的画都十分吃惊。

后来上中学时，正赶上太平洋战争十分激烈的年代。一九四五年八月，他被紧急动员去广岛市内劳动，广岛市惨遭原子弹轰炸，他从被烈火烧光的废墟中逃了出来。这一地狱般的体验，促使他成为画家后终生追求着祈祷和平这一主题。

遭到原子弹辐射的平山回到家乡后，在他大爷的劝导下，选择了绘画的道路。十六岁时来到东京考入了东京美术学校就是现在的东京艺术大学。在这里跟随前田青村（邨）学习日本画。这时认识了后来成为他夫人的松山美知子。

二十多岁时，平山深受放射线辐射后遗症的折磨，同时历经了生活上的困苦与创作方面的苦恼。但最后终于克服了重重困难，一九五九年也就是二十九岁时，发表了以三藏法师玄奘之旅为题材的作品“佛教传来”。这一作品使他作为新锐画家一举成名。