1947年,考入黑龙江省齐齐哈尔市文工团当演员。
1949年,随团调入东北电影制片厂演电影,正式开始了电影演员的生涯。
1953年,调到北京电影制片厂演员剧团工作。
1959年,出演电影《矿灯》;同年在红色电影《青春之歌》中饰演李芝庭;后又在红色电影《粮食》中饰演角色清水。
1960年,因在电影《红旗谱》中饰演冯兰池而被人所识。
1963年,出演电影《小兵张嘎》,饰演反派角色龟田;同年又参与电影《红河激浪》的拍摄。
1964年,出演于学伟导演的电影《小二黑结婚》,同年又出演黑白电影《青年鲁班》。
1974年,出演北京电影制片厂摄制的影片《南征北战》,饰演敌参谋长。
1975年,在电影《决裂》中饰演孙教授。
1976年,出演电影《金光大道》;同年又参与《雁鸣湖畔》的拍摄。
1980年,与刘晓庆合作,出演了电影《小花》;同年又在电影《戴手铐的旅客》中饰演葛世荃;后又参与电影《柳暗花明》的拍摄,饰演张振中。
1981年,出演电影《新兵马强》;同年又在电影《玉碎宫倾》中饰演干珠尔王;后又出演电影《智截玉香笼》。
1983年,和李光合作,出演了戏剧作品《虎口遐想》;同年参演电影《开拓者的足迹》;后又在《武林志》中饰演角色梁守仁。
1984年,在电影《街上流行红裙子》中饰演了吹箫老人。
1987年,出演电影《失恋者》;后又在电影《大清炮队》中饰演叶守信。
1992年,在电影《黄飞鸿之三狮王争霸》中饰演角色李鸿章;同年又在电视剧《皇城根儿》中饰演金一趟。
1997年,出演电影《周恩来伟大的朋友》,因而获得中国电影金鸡奖最佳男配角奖;同年执导电视剧《落榜之后》。
1998年,参与戏剧《正方与反方》的拍摄。
2002年,参与电影《活个精神头儿》的拍摄。
2004年,参演电影《我的法兰西岁月》,饰演角色驻法公使;同年又在电影《独自等待》中饰演海涛爷爷;后又出演电视剧《北京我的爱》。
2005年,出演电视剧《离婚官司》。
2006年,出演张建亚的电影《爱情呼叫转移》。
2009年,在黄建新执导的电影《建国大业》中扮演文化界代表。
2013年,参演王好为导演的电视剧《徐悲鸿》,饰演角色齐白石。
2016年3月4日8点33分,表演艺术家葛存壮因脑梗引发心脏衰竭去逝,享年87岁。