晋太公灭霍后，晋国的政治和社会陷入混乱之中，汉献帝时，天下大乱，军阀混乱，外来入侵，世事艰难，灾祸绵绵，王朝更迭，不绝于史书的天灾人祸。据有关资料表明，霍氏人氏由其发源地向外迁移的历史，始于秦汉之际，最初向河南、河北、山东等地迁徙，

到宋朝时期，便开始向广东、海南、江苏、福建等地迁移，广东佛山市石湾区澜石镇石头村，就建有明清时期霍氏祠堂，明末清初，居住广东、福建沿海一带霍氏族人，经彭湖列岛，开始向台湾迁移，形成了台湾今天的霍氏族氏。霍氏人氏向外迁徙不是孤立的，与中原的移民有着同样的社会背景，朱元璋下令山西向外移民，从明洪武三年～明永乐十年(公元1370～1416年)，明王朝先后进行了八次移民。明洪武年间洪洞大槐村移民，霍氏子孙部分迁往异地他乡，也有外出居官，或甘肃或广东，逐居外地。据霍兴成撰文，明朝洪武二十四年(公元1391年)，临汾霍裔向下为官，让其子弟某随肃王朱瑛到甘肃、兰州练兵，官至参将或副将，其子孙散居于靖远、会宁、海源一带。

霍氏族人是在明末清初从福建迁到台湾的。

时至今日，霍氏后代播迁于全国，描迁于海外，乃至全球。霍氏的英雄人物和故事有很多，所以一提起霍氏，就不禁使人感受到一种威武雄壮的英雄气概。