Нещо по тези обяснения не мога да разбера точно какво се опитваш да направиш. Какво разбираш под "съседни по връх клетки" ? Всички съседни клетки на клетката с координати x и y ? Или само съседните по диагонал, които докосват върховете на квадратчето-клетка ? Във последния for цикъл в който въртиш ot x - 1 до x + 1 обхождаш всички съседни клетки, така че вероятно това има предвид. Аз виждам няколко проблема в кодът ти. 

1. Няма смисъл да правиш по голяма матрица в която да копираш по-малката, защото ако сложиш проверките в try - catch блок, няма опасност да ти хвърли грешка ако удариш по индекс извън матрицата. Просто ще мине на следващата итерация на цикъла. Примерен код:

for (int i = x - 1; i <= x + 1; i++) {
    for (int j = y - 1; j <= y + 1 ; j++) {
        try {
            if (tempGameField[i][j] == 'O') {
                map.put(i - 1, j - 1);
            }
        } catch (IndexOutOfBoundsException e) {
        }
    }
}

2. Второ нямаш проверка, която да изключва клетката, около която проверяваш, защото ако и тя е O ще я вземеш и нея, а предполагам идеята е тя да не се проверява. И просто добавяш едно ифче, което ти гарантира че ще прескочи клетката в центъра:

if (i == x && j == y ){
    continue;
}

3. Неможе да пазиш координатите на намерените клетки в map, защото там ключовете са уникални и примерно ако си вкарал клетка с координати 1, 1 и после искаш да вкараш клетка 1, 3 то ще загубиш първата, защото няма как да държиш два еднакви ключа в мапа. Или си направи List<int[]> където да си слагаш x  на позиция 0 и y на позиция 1 или си направи Class Cell (което аз бих направил) който ще има полета x, y, и value, за да ти държи цялата информация за клетката.

Ако нещо не съм разбрал правилно по обясненията или кода е добре да доуточним.

Успех!