吉姆·卡特于1982年1月,在国家剧院中举行的理查德·艾尔的伙伴和洋娃娃的彩排上,与艾美达·斯丹顿相遇。当时卡特34岁,斯丹顿26岁。斯丹顿认为他太老了。据斯丹顿说:“我们一起工作了一年,这不在冲动下的激情,而是慢热型的爱情。”吉姆·卡特和艾美达·斯丹顿于1983年结婚,并育有一女,名叫贝茜。贝茜是在斯当顿37岁时(1993)出生的。而后来贝茜在2010年加入了国家青年剧院。·斯当顿如此评价卡特的演技:“他从来不是那种渴望扮演哈姆雷特的演员。也许是因为他是从马戏团的表演中入行的吧。他总是我行我素。”
随后,斯丹顿骄傲而声称,在结婚21年后,她和卡特只分开过三个星期。他们还养了一只名叫莫莉的狗。
另外,卡特是汉普斯特得板球俱乐部的董事长。该俱乐部的场地就在他家附近。2011年9月18日,他组织了汉普斯特得板球俱乐部(HCC)的板球名人赛。这是HCC该年的第三次慈善性质的板球名人赛。
他还是个厉害的自行车运动员,并且已经连续55年参赛,大部分情况下都是为了慈善目的。在2011年9月30日,卡特与其他25名选手去加纳参加包含6天骑行,为期10天的旅行,目的是为了筹集善款为一个名叫塔福的贫穷小镇提供干净的水。他还有一个为这个赛事招募赞助者和捐款的网站。这是他的第十个慈善骑行。前九个是约旦、哥斯达黎加、老挝、越南、印度、纳米比亚、智力、阿根廷和伦敦-巴黎两次,这些筹得的款项都捐给了国家聋哑儿童协会。他原本打算筹集2750英镑,最后竟达到8670英镑。
到2013年8月为止,卡特住在伦敦北部的西汉普斯特。