它并不是一个已经统一的“日本国家”，而是分布在列岛不同区域的一系列文化。联合国教科文组织列入世界遗产的北日本绳文遗址，显示出约公元前年至前400年间，部分绳文社会长期以狩猎、采集和渔猎为主，却已形成比较稳定的聚落、墓地和仪式场所。
这一步很容易被误解。
绳文人不是“什么都不会的原始人”，也不是后来日本人的唯一来源。他们已经有陶器、定居聚落和复杂的精神生活；但当时还没有一个覆盖列岛的统一政权，更没有“日本”这个国号。
大约三千年前前后，北九州一带开始出现以水田稻作为中心的新生活方式，考古学上通常称为弥生文化。
这不是简单的“多了一种粮食”。水稻需要土地、水利、协作、储藏和分配。谁组织劳力，谁保管粮食，谁掌握金属工具和武器，谁就更容易在共同体中拥有影响力。
日本国立历史民俗博物馆将这场变化概括为：列岛社会从狩猎、采集、渔猎为主的获取经济，逐步转向以水田稻作为核心的生产经济；金属器、聚落化生活、集团冲突，以及与朝鲜半岛和汉朝的交流，也随之增强。
所以，弥生时代不是“旧居民被新居民一夜替换”。更准确的说法是：列岛原有群体与来自周边地区的人群、技术和制度长期交流、混合，社会结构因此发生了明显变化。
稻作带来的不只是新粮食。它要求人们管理土地、调配劳力、储存收成，也让掌握资源和武器的人更容易取得影响力。
进入公元前后，中国文献开始使用“倭”来称呼日本列岛及其居民、政权。这里的“倭”，不能机械等同于后来的完整日本。
早期记录讲的是许多分散的政治共同体。到3世纪，中国《魏志·倭人传》记述卑弥呼统领的邪马台国等情况。邪马台国到底在九州还是近畿，至今仍有争论；但有一点相对清楚：当时列岛上存在多个势力，彼此竞争，也通过朝鲜半岛和中国进行外交与贸易。
从东汉时期开始，古代日本人被称为“倭人”，国名叫“倭国”。例如，《汉书·地理志》中记载：“乐浪海中有倭人，分为百余国，以岁时来献”。
日本国立历史民俗博物馆的说明也指出，3世纪以后，各地有力首长在与中国、朝鲜半岛的交流和竞争中联合，推举倭王。
这比“日本从卑弥呼开始”更接近史实。
卑弥呼是早期政治整合的重要线索，却不能直接证明她统治了今天日本全部地区，更不能把后来的天皇国家原样投射回3世纪。
3世纪到6世纪，列岛进入古坟时代。大规模墓葬、武器、甲胄、饰品和埴轮，反映出首长集团的等级差异与动员能力都在增强。
联合国教科文组织对百舌鸟、古市古坟群的说明特别提醒：古坟时代是日本社会走向中央集权国家之前的阶段。换句话说，古坟很壮观，不等于一个现代意义上的统一国家已经完成。
以近畿大和地区为中心的政权，正是在这种首长联盟、军事力量和对外交流中逐渐扩大影响。