一年后，旅顺的经济开始好转，母亲带着两个孩子又回到了父亲身边。杨希善8岁时正式进旅顺公学堂读书。日俄战争结束后，日本人在旅顺开办的第一所学校就是现在旅顺中学的旧址“旅顺公学堂”，这所学校是小学六年制学校。学生所学的语言基本上是日语，教材内容也是按日本文部省规定范围来编制教材，学生从课堂学到的知识和日本学生在国内所学的知识几乎一样。每天早上，不管是日本学生还是中国学生，都要到孔夫子碑前敬礼。小学一到三年级由中国教师教授，由日本老师做班主任。日本制的教学异常严格，这也使得小杨希善培养了很好的读书习惯和自我管理的能力。而对日文的粗通，也让他日后在故宫博物院的工作中可以顺畅无阻地阅读众多日文书籍。这是后话了。
旅顺当时已经有博物馆，学校老师经常带领学生参观的旅顺博物馆，就是中国著名的历史艺术性博物馆。旅顺博物馆位于大连市旅顺口区列宁街，是日本帝国主义在1905年侵占大连以后，于1916年在沙俄未建成的军官俱乐部基础上改造建成。建筑既有近代欧式风格，又有东方艺术装饰特色。小小年纪的杨希善早早便接触了在当时很现代的博物馆，当他好奇地睁大眼睛看着馆内的珍品时，却不知道自己的将来会和博物馆紧紧联系在一起。
旅顺是军事要塞，小小的城市有海港和机场，聚集了日本的海陆空三军，日本曾派出中将来管理这座城市。可见这座受日本军国主义统治的城市对日本人来说多么重要，在旅顺的中国人的生活又是多么压抑。在侵华战争期间，日本因为经济衰退、物资匮乏，对旅顺施行食品配给制，被奴役的民众更是哀声四起。杨希善就生活在这样扭曲的社会里，成长在扭曲的时代里。在日本的奴化教育中，杨希善的思想却与之完全对立，他的内心一直拒绝做日本顺民，并且以自己是中国人为荣。但是中国那么大，为什么会那么贫穷，有那么多饥饿的人，为什么就打不过小小的日本呢？作为中国人，他思考的都是这些问题。“作为中国人，未来的出路在哪里？”杨希善内心一片迷茫。
就在日本发动侵华战争初期，杨希善的父亲身染重病，卧床不起，时而清醒时而糊涂，一年光景后病逝。杨希善的伯父和叔叔们也因为各种原因前后得病去世。大连的四叔回到山东，悄悄加入了共产党，在收集情报的过程中身份暴露，被日本人枪毙在村子外。杨家父辈相继去世，家道衰落，家庭重任落在了杨希善身上。当年杨希善才15岁，正在就读旅顺高等工学校。在痛苦的环境中，杨希善又遭遇家变，当时的他根本不知道生活的希望来自哪里。面对体弱的母亲和年幼的妹妹，他不知道自己靠什么谋生，更不知道如何支撑起这个支离破碎、摇曳不定的家，只感觉四周一片黑暗。
1944年，抗日战争接近后期，日本经济环境更加恶劣，在旅顺这样的日租地，人民生活得更加悲惨。日本人连孩子都不放过，当时学生在假期必须参加劳动。大热天里，杨希善和同学一起整修机场，结果得了一场大病。毕业那年，所有学生必须去炼钢厂劳动。这时候，连日本老师都感觉到坚守旅顺的时间不会太久，学生更是处于饥饿和绝望的边缘。杨希善偶尔逛书店，看到一本讲述苏联的书，才知道这世界还有个不同干日本的新国家。杨希善还从日本女职员处借到一本列宁的《共产主义运动中的“左派”幼稚病》，看得似懂非懂。
杨希善虽然接触了这些共产主义的革命火花，但尚不清楚这些革命火种已经在全国各地悄悄点燃，倒是身处的环境对他触动更大。当时他在耐火材料厂劳动，发现在此工作的中国人大多是山东人，因为是老乡，大家聊得比较多。日本人对这些中国工人完全是奴隶制管理。所有工人进出工厂都要被搜身，不允许带走任何一件工具；大冬天，这些工人衣衫褴褛，吃着难以下咽的高粱窝窝。杨伯达回忆起往事：“你们肯定是没见过这种黑色窝窝，就是丢在地上，让人以为是一团屎。”让杨希善印象最深刻的是一位13岁的劳工，大冬天就穿一件破棉袄，连内衣都没有，肘子上都露出了破棉絮，“真是可怜呀，这就是没有祖国的少年，不仅不能受教育，还要做童工”。
杨伯达回忆道：“1944年秋天，旅顺所有学校的学生被拉到大连甘井子的大华矿业公司里去做劳工。我亲眼目睹了日本的监工对我们中国工人打、骂、虐待。我心里非常愤恨。有一次看见一个监工在打一位13岁的童工，我忍无可忍，上前拦住监工，当时我说话的口气非常威严，也许是被我的神情震撼，这位监工真的没再打这个少年。第二天，这个少年的哥哥特意跑来感谢我。我这样阻止监工，我们这些学生谁也没有去打小报告。当时我是走读生，听说住寝室的同学们也在和日本舍监悄悄作斗争。想想大家在这个环境里勉强生活下去，还有什么前途？每天的所闻所见，让我都气得胸胀胀的，非常郁闷。我觉得在这样的环境下，我非离开不可。”
P3－5