江州之贬是白居易生命的转折点。在此之前的诗人慷慨激昂，以天下为己任，直言朝政不避权贵，针砭时弊不顾安危。但是经过了这一次仕途的打击之后，诗人已经“谁知名利尽，不复长安心”。

白居易在江州四年，后移忠州，元和十五年召还。穆宗即位后，白居易授中书舍人，拜尚书主客郎中，知制诰，加朝散大夫。可是朝廷朋党之争依然十分激烈，诗人不但无可作为，反而终日忧惧。于是白居易主动请求外任，长庆二年（822年）出为杭州刺史。在杭期间，白居易率众挖湖筑坝提高西湖水位，灌田千顷。为了警示继任者重视水利建设，亲笔写下《钱塘湖石记》刻碑于西湖岸边。白居易从杭州离任时，为前来送行的百姓写诗道：“税重多贫户，农饥足旱田。惟留一湖水，与汝救凶年。”如今杭州西湖上的白堤则为白居易当年修筑，故名“白堤”。

杭州任满之后，白居易又任太子左庶子，分司东都。晚年的白居易，对仕途更是不再抱有希望，荣枯由之，听天由命，与世相忘。他以妓乐诗酒自娱，自号“醉吟先生”。白居易说自己“惟以醉为乡”，“往往酣醉，终日不醒”。宋代人统计，说白居易诗歌“二千八百首，饮酒者九百首”。

白居易饮酒颇具文人情调，良辰美景，邀客来家，先拂酒坛，次开诗箧，后捧丝竹。于是一边饮酒一边吟诗一边听琴，陶然自得。白居易有时候到野外游玩，车中放一琴一枕，车两边以竹竿悬挂两只酒壶，操琴饮酒，乐而忘归。

《穷幽记》说，白居易家有池塘，可以泛舟。他宴请宾客有时就在船上。白居易在船边吊百余空囊，装有美酒佳肴，随船而行。欲饮食即拉起，吃喝完再拉起一只，直到吃喝完为止。

除了好妓乐饮酒之外，晚年的白居易亦颇好佛，以至于为自己取了一个颇有佛教意味的号：“香山居士。”也许是经历了仕途坎坷之后，诗人以佛法作为自己的逃遁之所吧。

晚年的白居易几乎过着隐居者的生活，一直到生命的尽头。846年，中唐最伟大的诗人白居易去世，葬于龙门山。往来祭拜者不绝，因白居易好酒，因此人们总把酒洒在坟前地上，以至于很长时间里，坟前土地都是湿漉漉的。唐宣宗曾经写诗悼念他说：

缀玉连珠六十年，谁教冥路作诗仙？

浮云不系名居易，造化无为字乐天。

童子解吟长恨曲，胡儿能唱琵琶篇。

文章已满行人耳，一度思卿一怆然。