史前时期

原始日语，即日语和琉球语的共同祖先，据信是在公元前4世纪初至中期（弥生时代）由来自朝鲜半岛的定居者带到日本的，取代了原始绳文居民的语言，包括现代阿伊努语的祖先。由于当时尚未从中国引入文字，因此没有直接的证据，关于这一时期的任何推论都必须基于中古日语的内部重建，或与琉球语和日本方言的比较。

上古日语

汉字书写系统大约在五世纪初与佛教一起从百济传入日本。最早的文本是用汉语文言文书写的，虽然其中一些可能是用汉文训读方法以日语阅读的，并受日语语法的影响，如日语的词序。最早的文本《古事记》可以追溯到八世纪初，它完全以汉字书写，这些汉字在不同情况下用于表示汉文、汉文训读和古日语。像这一时期的其他文本一样，古日语部分是用万叶假名书写的，万叶假名既利用汉字的音义也利用其语义值。

根据万叶假名系统，古日语可以重建为拥有88个不同音节的语言。用万叶假名书写的文本中，每个现今读作き (ki)、ひ (hi)、み (mi)、け (ke)、へ (he)、め (me)、こ (ko)、そ (so)、と (to)、の (no)、も (mo)、よ (yo) 和 ろ (ro) 的音节各使用两套不同的汉字。（《古事记》有88个音节，但所有后来的文本都有87个音节。显然，在《古事记》成书后不久，mo1和mo2之间的区别就消失了。）这些音节在中古日语早期减少到67个，虽然通过汉语的影响也有一些音节被添加。万叶假名还为/je/音提供了一个符号，在该时期结束前与/e/音合并。

古日语的一些语法元素在现代语言中仍有残留。

中世日语

中世日语是指1185年—1600年的日语，通常分为两个阶段，分别大致对应镰仓时代和室町时代。中世日语的后期形式是由外国人记录的，这些来源包括耶稣会和方济会的传教士；因此，对晚期中古日语语音的记录比前期形式更为详尽，例如《日本大文典》。在此期间，发生了一些显著的音变，比如音节序列/au/合并为/ɔː/（区别于/oː/）；汉语中的/p/音重新引入；/we/与/je/合并。一些更接近现代日语的形式开始出现。例如，动词的连用形结尾“-て”开始缩减到动词本身上（例如，将早期的“よみて”简化为“よんで”）；形容词末尾的 -k- 音逐渐消失（例如，将早期的 “しろき” 简化为 “しろい”）；而在某些情况下，现代标准日语保留了早期的形式（例如，从“hayaku”演变为“hayau”再到“hayɔɔ”，而现代日语只保留了“hayaku”，但在标准问候语“おはようございます”（意为“早上好”）中，保留了较晚期的形式；类似的变化也见于“おめでとう”（意为“恭喜”），来源于“めでたく”）。

晚期中古日语时期首次出现了来自欧洲语言的借词——在这个时期借入的现在已经常见的日语词汇包括“パン”（pan，意为“面包”）和“タバコ”（tabako，意为“烟草”，现意为“香烟”），这两个词都源自葡萄牙语。

现代日语

现代日语的开端通常被认为始于江户时代（1603年—1867年）。在上古日语时期，事实上的标准日语是关西方言，尤其是京都的方言。然而，在江户时代，江户（现为东京）发展成为日本最大的城市，并且江户地区的方言逐渐成为标准日语。自1853年日本锁国结束后，来自欧洲语言的借词数量显著增加。自1945年以来，日语中借入了许多来自其他语言的词汇，比如德语、葡萄牙语和英语。

特别是许多与科技相关的英语借词大量涌入日语。例如，“パソコン”（pasokon，缩写自“personal computer”），“インターネット”（intānetto，自“internet”），以及“カメラ” (kamera，自“camera”)。由于大量英语借词的涌入，现代日语中发展出了一些音韵上的区别，例如[tɕi]和[ti]，以及[dʑi]和[di]，其中后者仅在借词中出现。