明治时代1868年开始时，日本开始迈向现代化国家，但还没任何可称为“国歌”的东西。1869年，当时在横滨工作的英国军乐团教师约翰.威廉.芬顿听说日本缺少国歌，他告诉日本军乐团的成员们英国国歌《天佑吾王》。他强调了国歌的必要性，并建议如果有人提供歌词，他可以谱曲。乐队成员在与他们的指挥商量以后，请日语、中国历史和文学修养都很好的萨摩藩步兵队队长大山岩为国歌选择了恰当的词（后来大山成了陆军部长和陆军元帅）。芬顿把他自己的音乐加在了大山上尉从名叫《蓬莱山》的集子中选的一首琵琶歌俳句上了。结果这就是第一首《君之代》（Kimigayo）国歌了。

然而，其旋律与今天人们所知的国歌完全不同。1870年一次军队游行中，在铜管乐队的伴奏下，演出了这一首国歌，但后来人们认为它缺少庄严感，并一致同意有必要加以修改。1876年，海军乐队的指挥永仓祐庸（nagakura suketsune）——后来他以中村祐庸（Nakamura suketune）的名字出名——向海军部提出了一个改变音乐的建议。在他的建议的基础上，有关部门决定新的旋律必须反应宫庭表演的音乐讚美诗所使用的风格。1880年7月，选择了4人组成一个委员会来修改该音乐。他们是海军乐队指挥中村雄助、陆军乐队指挥四元义豊（Yotsumoto Yoshitoyo）、日本宫庭雅乐指挥林广守（Hayashi Hiromori）和与海军签有契约的德国乐团教师弗朗兹· 埃克特（Franz Eckert）。

最后在日本宫庭音乐中使用的传统音阶的基础上，选择了早弘盛所作的旋律。埃克特将国歌作了分为4部分来歌唱的安排。在明治天皇的生日1880年11月3日，皇宫中首次演出新的国歌。这就是我们今天所知道的国歌"君之代"（Kimigayo）的由来。

今天在日本国家法定假日的仪式上及其它喜庆的传统公共节日和欢迎外国国宾的仪式上都挂国旗和演奏国歌。 此外，许多日本公民在国家法定假日都将国旗挂在他们的前门外。在非正式的场合也演奏国歌君之代的音乐，如有日本队代表本国出席的国际体育运动会。在相扑联赛上，在颁奖仪式开始前，通常也演奏国歌。

承认国旗太阳旗和国歌《君之代》的广泛使用已为习惯法所接受，在21世纪的前夕，日本政府认为在成文法中给它们一个明确的地位是合适的。1999年6月向日本国会提交了将太阳旗和"君之代"定为国旗和国歌的议案。1999年8月9日，日本国会通过涉及国旗和国歌的法律。

明治15年（1882年），文部省试图撰写颁订一首作为国家正式国歌之提案，作为议案提名的国歌标题为”明治颂“，但在明治17年（1884年）因种种原因而终止创作。此为日本第一次也是目前最后一次试图以日本国歌之名而进行创作的曲目，可惜没能成功。

1958年，日本文部省在《学习指导纲要》中规定，国小在节日等活动中应齐唱《君之代》。1974年，时任首相的田中角荣曾提出要以法律形式把《君之代》确定为日本国歌，但该方针遭到了坚持和平与民主主义教育路线的日本教职员工会和部分学生的抵制。1990年，文部省硬性规定，所有的中国小在入学式和毕业式上要升日本国旗唱国歌《君之代》。1993年，自民党曾提出过国旗法案，但因其他党派的反对而没有通过。

1999年，日本政府（小渊惠三政权）向日本国会提交了《国旗与国歌法》，并于当年8月9日在国会通过。《国旗与国歌法》内容简短，规定了“日之丸”旗为日本国旗，《君之代》为日本国歌。这使得日本的国旗与国歌实现了法制化，更使得小中高校生在入学式和毕业式等校内仪式中齐唱《君之代》有了法律依据。

此外，在日本命名为君之代的歌曲有四首：初代-君之代、二代-君之代、国小唱歌-君之代、保育-君之代。初代及二代君之代是日本前后两首官方认可的国歌。「国小唱歌-君之代」及「保育-君之代」是日本文部省于明治15年（1882年）编订的第一本官方音乐教科书中的教材曲目。这四首"君之代"均为明治初期所创作，创作的时间都很相近，动机虽各有不同，但都以教育国民忠君爱国的思想为目的而创作。

君が代は

千代に八千代に

さざれ石の

巌となりて

苔の生すまで

きみがよは
ちよにやちよに
さざれいしの
いわおとなりて
こけのむすまで

吾皇盛世兮，千秋万代；

砂砾成岩兮，遍生青苔。

我皇御统传千代

一直传到八千代

直到小石变巨岩

直到巨岩长青苔

皇祚连绵兮久长

万世不变兮悠长

小石凝结成岩兮

更岩生绿苔之祥

kʲimʲigajɔ wa

tʃijɔ nʲi natʃijɔ nʲi

sazarɛ iʃi nɔ

iwaɔtɔ narʲitɛ

kɔkɛnɔ musu madɛ