"五芳斋"得名于清道光年间，创始人姓沈，系吴县陆墓采莲（今相城区元和镇开发区）人。起初在齐门外开了一家甜食铺，以玫瑰、桂花、莲心、薄荷、芝麻等五种苏州人爱吃的东西作为原料，制作桂花圆子、赤豆糖粥焐酥豆、莲心羹、冰雪酥、玫瑰糕等甜食小吃。
沈氏膝下生有五个女儿，分别取名玫芳、桂芳、莲芳、荷芳和芝芳，恰好和店里常用的原料在字面上有相通之处，街坊邻居就开玩笑地称他的店叫"五芳斋"。沈氏老板干脆将错就错，正式将店铺取名"五芳斋"。这就是五芳斋名字的由来。并在清咸丰四年（1854）将店迁至玄妙观三清殿西侧，在原有基础上增设面食点心，五香排骨、小笼馒头（一种灌汤包子，苏州人将包子也统称作馒头）、两面黄为其拳头产品。逢年过节时还有斗糕、松糕等米食糕点来丰富应市，逐渐形成五芳斋甜食品系列。"五芳斋"从此进入市中心繁华区，并且创造出了自己的品种特色。
四年以后，也就是清咸丰八年（1858），沈氏的入赘女婿、糕团师傅沈敬洲发现当时正在迅猛发展的上海饮食业还没有一家的苏式糕团店，便积极筹备，在大马路（现南京东路）原盆汤弄附近开设了一爿小糕团店，依照苏州糕团的传统制做方法制售桂花赤豆糕、玫瑰方糕、汤团等。取店名为"姑苏五方斋"。由于该店所制糕团、汤团选料上乘、配制合理、制作精细，食之香糯适口、余味久远，顿在上海开食风之先，不久就名声大振，生意兴隆，到1933年，上海五芳斋迁到南京东路山西路附近扩大营业，一直是上海规模大、名气响糕团店之一。现在，上海五芳斋的寿桃、定胜糕经国内贸易部审定评为中国名点。上海五芳斋在南京路长期经营，直到1998年7月，因市政建设需要，才由南京路搬迁到四川中路和四川北路现址，并发展成南北两个分号。
民国13年（1924），上海"姑苏五芳斋"到北京东安市场北门西侧开设"五芳斋"饭庄，以经营江苏淮扬风味菜肴为特点，开业之初，其南式糕点、小吃也曾堪称一绝。成为东安市场的重要组成部分，与中外闻名的东来顺饭庄东西相对。解放后进行过多次扩建，现拥有六百多平方米的营业面积，三个餐厅，可同时接待四百多位客人就餐。