最早的关于日耳曼人的纪录来自于前2和前1世纪的古典作家。从约200年开始日耳曼人开始使用一种自己的文字。此前历史只有通过考古和语言学（比较语言学）的方法以考证。
通过对各个日耳曼语言（古德语、古英语）的仔细比较和日耳曼语言与其它印欧语言的比较，语言学家可以基本上重建日耳曼语（也称“前日耳曼语”或“泛日耳曼语”）。这些比较最主要的结果是：
日耳曼语属于印欧语言，在这个语族中它属于其西方的一支。
在印欧语系中凯尔特语和古意大利语最接近。这三种语言一起组成古欧洲语言。前3或2千年时，也就是说青铜器时代的早期，古欧洲语言是中欧的语言。但其精确的地点和时间今天已经无从考证，或者争议很大。
日耳曼语言之间非常近似，这很可能说明它们有很长的共同演化的时间。大多数语言学家将前日耳曼语从凯尔特语和古意大利语分离出来的时间定为前2千年上半叶。
日耳曼语分离出来后它依然与凯尔特语有接触。一些凯尔特语的词汇被日耳曼语借用。此外日耳曼语对芬兰语也有影响。一些日耳曼语的词汇在芬兰语中出现（比如国王，日耳曼语为kuningaz，芬兰语为kuningas。比如指环，日耳曼语为ringaz，芬兰语为rengas等）。
最早使用“日耳曼人”这个词的是希腊历史学家波希多尼。他在约前80年时第一次使用这个词。也许他在与中欧的某一个今天无法考证的小民族接触时听到了这个词并将它用来称呼所有的日耳曼民族。有可能这样一个小民族的名字后来成为了整个民族群的名字。日耳曼人自己将自己称为日耳曼人的可能性非常小。
前51年恺撒在他的《高卢战记》中使用了日耳曼人这个名称。恺撒这里将所有莱茵河以东的民族统称为日耳曼人。在此之前罗马人将欧洲西部的民族称为凯尔特人，而欧洲东部的民族被称为斯基泰人。此时罗马人才认识到日耳曼人并非凯尔特人，而是一个独立的民族群。
索尔，日耳曼人的雷神。他的锤便是雷电。由Mårten Eskil Winge绘画，大约于1872年绘成。
罗马历史学家塔西佗在他的《日耳曼尼亚志》中称“日耳曼人”是一个比较新的称呼。一开始只有通格人（Tungrer）被称为日耳曼人，后来所有日耳曼民族都被这样称呼。塔西佗说高卢人称莱茵河以东的民族为“日耳曼人”。后来这些民族自己也称自己为日耳曼人。根据这个叙述这个词有可能是从凯尔特语过来的。
塔西佗在他的书里详细地列举了每个日耳曼民族部落从莱茵河到维斯瓦河，从多瑙河到北海和波罗的海之间的居住地。
严肃地说只有从这个时候开始我们才能将这些民族称为日耳曼人。过去曾有很多研究通过考古学研究来推导出石器时代和青铜器时代的古日耳曼人。第二次世界大战后这个研究曾一度完全被放弃。
今天类似的研究在非常精心的学术范围内重新开始，其目标是使用考古学和语言学的研究来获得一个内在不矛盾的整体影像。按照这个研究欧洲北部的青铜器时代的人几乎可以肯定是日耳曼人。而所谓的战斧人（前2800年至前2200年）与日耳曼人之间的关系还有争议。
最新的理论通过对河流和地名的研究认为日耳曼人的产生地在今天德国中部山区的北部。但大多数学者对这个理论持怀疑态度。
过去学者们以为日耳曼语言是在约前500年由于日耳曼语语音变迁从其它西部印欧语言中分离出来的。在这个语音变迁中比如k通过ch变为h，或者p变为f，t变为th。
新的研究认为这个变迁很晚才发生，它发生的时间可能是前1世纪。最主要的证据是辛布里人的民族名称。前2世纪后期辛布里人与条顿人一起威胁罗马北部。这两个民族的家乡是今天的丹麦。在拉丁文中辛布里人的名字为cimbri，而不是chimbri或himbri，后来日耳曼人的名字在拉丁语中使用ch来写，比如chatti。
因此今天大多数学者认为这个语音迁移在前2世纪后期还没有开始或还没有完成。一些早期流传下来的地名说明这个理论是正确的。
这个见解对日耳曼语言学有非常重要的后果。这样一来至今为止被称为“泛日耳曼语言”的语言是在前2到1世纪形成的，到1世纪时它又分裂为许多自己的日耳曼语言。此前日耳曼人的语言与印欧语言相似，这个更古老的语言没有被留传下来，但其基本结构可以被重新构造出来。