是什么时候迁居到淮阴的，他的祖上应该就是韩人。韩淮阴年轻时游手好闲，百无一能。由于品行不端，他也失去了成为吏员的资格。祖上可能有武职，韩淮阴身材高大、魁梧，每天挂着一把剑四处招摇。——剑，这可不是随便一个人就能有的。
韩淮阴虽然出身于武将家庭，也爱挂个剑显摆，但明显不是武勇之人。乡里的小混混侮辱他，要他要么和自己比试，要么从自己的裤裆下爬过去，韩淮阴观察了一下对方，在心里衡量了一下，可能觉得没有把握战胜对方，从对方的裤裆下爬了过去。
和刘季只是祸害自己的兄嫂不同，韩淮阴尽祸害他人，跑到别人家蹭吃蹭喝，最后总是被人赶出来。有一次，他在乡下南昌亭长家蹭了几个月的饭，逼得那一家只能提前吃早饭，推迟吃晚饭，让韩淮阴到家时，赶不上饭点。后来，韩淮阴到城外护城河边钓鱼，一群老太太也在河边洗衣服。一个老太太将自己带的饭分给韩淮阴一半，韩淮阴竟然就这么白吃了老太太几十天的饭。韩淮阴对老太太道：“吾必有以重报母。”
老太太回答道：“大丈夫不能自食。吾哀王孙而进食，岂望报乎！”
如果故事沿着这条路走下去，韩淮阴也最后可能也就这么着在乡下混日子，直到老死。但秦二世二年二月，项梁率八千江东子弟过江，进入淮水流域，周围各县的青年纷纷前往投奔，韩淮阴也在其中。作为一名普通的投军青年，他只是被简单地编入行伍，每天进行军事训练。完全看不出他有什么特殊之处。