最初，单于说许以丰厚的奉禄和高官，但苏武严辞拒绝了。匈奴见劝说没有用，就决定用酷刑。当时正值严冬，天上下着鹅毛大雪。
单于命人把苏武关进一个露天的大地穴，断绝提供食品和水，希望这样可以改变苏武的信念。时间一天天过去，苏武在地窖里受尽了折磨。渴了，他就吃一把雪，饿了，就嚼身上穿的羊皮袄，冷了，就缩在角里与皮袄取暖。
过了好些天，单于见濒临死亡的苏武仍然没有屈服的表示，只好把苏武放出来了。单于知道无论软的，还是硬的，劝说苏武投降都没有希望，但越发敬重苏武的气节，不忍心杀苏武，又不想让他返回自己的国家，于是决定把苏武流放到西伯利亚的贝加尔湖一带，让他去牧羊。临行前，单于召见苏武说：“既然你不投降，那我就让你去放羊，什么时候这些公羊生了羊羔，我就让你回到中原去。
”
与他的同伴分开后，苏武被流放到了人迹罕至的贝加尔湖边在这里，单凭个人的能力是无论如何也逃不掉的。唯一与苏武作伴的，是那根代表汉朝的使节和一小群羊。苏武每天拿着这根使节放羊，心想总有一天能够拿着回到自己的国家。
渴了，他就吃一把雪，饿了，就挖野草逮兔子，冷了，就与羊取暖。这样日复一日，年复一年，使节上挂着的旄牛尾装饰物都掉光了，苏武的头发和胡须也都变花白了。