就在这个期间，一九○六年，我的大弟谢为涵出世了。他比我小得多，在家塾里的表哥哥和堂哥哥们又比我大得多；他们和我玩不到一块儿，这就造成了我在山巅水涯独往独来的性格。这时我和父亲同在的时间特别多。白天我开始在家塾里附学，念一点书，学作一些短句子，放了学父亲也从营里回来，他就教我打枪、骑马、划船，夜里就指点我看星星。逢年过节，他也带我到烟台市上去，参加天后宫里海军军人的聚会演戏，或到玉皇顶去看梨花，到张裕酿酒公司的葡萄园里去吃葡萄，更多的时候，就是带我到进港的军舰上去看朋友。
一九○八年，我的二弟谢为杰出世了，我们又搬到海军学校后面的新房子里来。
这所房子有东西两个院子，西院一排五间是我们和舅舅一家合住的。我们住的一边，父亲又在尽东头面海的一间屋子上添盖了一间楼房，上楼就望见大海。我在《海恋》中有过这么一段描写，就是在这楼上所望见的一切：
右边是一座屏障似的连绵不断的南山，左边是一带围抱过来的丘陵，土坡上是一层一层的麦地，前面是平坦无际的淡黄的沙滩。在沙滩与我之间，有一簇依山上下高低不齐的农舍，亲热地偎倚成一个小小的村落。在广阔的沙滩前面，就是那片大海！这大海横亘南北，布满东方的天边，天边有几笔淡墨画成的海岛，那就是芝罘岛，岛上有一座灯塔……
在这时期，我上学的时间长了，看书的时间也多了，主要的还是因为离海远些了，父亲也忙些了，我好些日子才到海滩上去一次，我记得这海滩上有一座小小的龙王庙，庙门上的对联是：
群生被泽
四海安澜
因为少到海滩上去，那间望海的楼房就成了我常去的地方。这房间算是客房，但是客人很少来往，父亲和母亲想要习静的时候就到那里去。我最喜欢在风雨之夜，倚栏凝望那灯塔上的一停一射的强光，它永远给我以无限的温暖快慰的感觉！
这时，我们家塾里来了一位女同学，也是我的第一个女伴，她是父亲同事李毓丞先生的女儿名叫李梅修的，她比我只大两岁，母亲说她比我稳静得多。她的书桌和我的摆在一起，我们十分要好。这时，我开始学会了“过家家”，我们轮流在自己“家”里“做饭”，互相邀请，吃些小糖小饼之类。一九一一年，我们在福州的时候，父亲得到李伯伯从上海的来信，说是李梅修病故了，我们都很难过，我还写了一篇《祭亡友李梅修文》寄到上海去。
我和李梅修谈话或做游戏的地方，就在楼房的廊上，一来可以免受表哥哥和堂哥哥们的干扰，二来可以赏玩海景和园景。从楼廊上往前看是大海，往下看就是东院那个客厅和书斋的五彩缤纷的大院子。父亲公余喜欢栽树种花，这院子里种有许多果树和各种的花。花畦是父亲自己画的种种几何形的图案，花径是从海滩上挑来的大卵石铺成的，我们清晨起来，常常在这里活动。我记得我的小舅舅杨子玉先生，他是我的外叔祖父杨颂岩老先生的儿子，那时正在唐山路矿学堂肄业，夏天就到我们这里来度假。他从烟台回校后，曾寄来一首长诗，头几句我忘了，后几句是：
…………
…………
忆昔夏日来芝罘
照眼繁花簇小楼
清晨微步惬情赏
向晚琼筵勤劝酬
欢娱苦短不逾月
别来倏忽惊残秋
花自凋零吾不见
共怜福份几生修
小舅舅是我们这一代最欢迎的人，他最会讲故事，讲得有声有色。他有时讲吊死鬼的故事来吓唬我们，但是他讲得更多的是民族意识很浓厚的故事，什么洪承畴卖国啦，林则徐烧鸦片啦等等，都讲得慷慨淋漓，我们听过了往往兴奋得睡不着觉！他还拉我的父亲和父亲的同事们组织赛诗会，就是：在开会时大家议定了题目，限了韵，各人分头做诗，传观后评定等次，也预备了一些奖品。如扇子、笺纸之类。赛诗会总是晚上在我们书斋里举行，我们都坐在一边旁听。现在我只记得父亲做的《咏蟋蟀》一首，还不完全：
庭前……正花黄
床下高吟际小阳
笑尔专寻同种斗
争来名誉亦何香
还有《咏茅屋》一首，也只记得两句：
…………
…………
久处不须忧瓦解
雨余还得草根香