林尚义早年是香港甲组足球员，十六岁加入香港甲组足球队。1958年代表中国台北勇夺亚运足球金牌，1960年于意大利罗马参加奥运会。1972年效力香港流浪足球队时夺得联赛及银牌双料冠军，年轻时有“重炮”、“仓鱼”等称号。1982年取得国际足协世界教练文凭。

林尚义毕业于香港中文大学经济系。毕业后，警察足球队曾邀请他加盟，但被他拒绝，并转而教书。他曾在柴湾文理书院任教体育，社会及国文。

挂靴后，林尚义先后在香港电台、商业电台、亚洲电视及无线电视担任电台及电视足球评述员超过三十年，堪称香港足球评述界宗师。其权威式球评风格深入民心。球迷喜欢尊称林尚义为“阿叔”以示对林的爱戴。

除了活跃于足球圈以外，阿叔偶尔也接拍一些电影。虽然只是客串，但姜是老的辣，林尚义把许多角色都演得有棱有角，给人留下深刻印象。例如《逃学威龙2》中的柔道老师；《赌侠1999》中的足球解说员；《黑玫瑰义结金兰》中的老年吕奇。其中以《古惑仔》电影系列中饰演风趣神父（牧师）一角最为深入民心。

林尚义的妻子刘蕙芳2005年初因为肝硬化引致内出血身故，终年40多岁，林大受打击，林尚义与无线电视的合约于2005年8月中己届满后，林并没有选择续约。他在2006年7月10日为无线电视主持完世界杯决赛评述后正式宣布退出电视及电影圈，这场比赛也成为了其退休前最后的一项工作。

在林尚义2006年退休之前，YOUTUBE上一则有关“巴士阿叔”的短片红极一时。因为短片之上写了林尚义的名字，所以曾有大部分人怀疑阿叔林尚义就是该短片的主角。其后证实片中的阿叔只是声线像林尚义，与林尚义本人完全无关。真可谓无巧不成书，林尚义亦因为“巴士阿叔事件”而在网络世界人气急升。