Нейронные сети глубокого обучения

[spamsink]

На сегодняшний день гуглопереводчик работает так:

шкодливый - awkward
шкодливый кот - schoolboy cat
Шкодливый кот - A shod cat
шкодливый коть - shitty cat (опечатка, палец соскользнул с Т на Ь)
шкодливые коты - cocksucker cats
Шкодливые коты - Shoddy cats

шкодливая - sciatic
шкодливая кошка - naughty cat
Шкодливая кошка - Shodty cat
шкодливые кошки - squeamish cats
Шкодливые кошки - Shoddy cats

шкодливое - awkward
шкодливое котовище - stinky cat
Шкодливое котовище - Shodgy cat

Угадайте, какое слово или словосочетание я попытался переводить первым, и оказался настолько восхищён результатом, что стал экспериментировать?

Comments

[juan_gandhi]

Да ты, доктор, вечно такие картинки показываешь, что все в недоумении.

[spamsink]

Я сам в недоумении!

[sab123]

Видимо самое замечательное, шкодливые коты?

[spamsink]

Так точно-с!

[sab123]

Кстати, это нам видимо демонстрирует, что они не пытаются разбирать русские слова на части.

[spamsink]

Ну да. Слишком много разных языков с разными грамматиками будет, на всех не напасешься.

Более того, они пытаются матчить произвольные подстроки, иначе не объяснить появление произвольных псевдослов с разными окончаниями, характерными для прилагательных.

[sab123]

А, казалось могли бы. Насколько я читал, нынешний метод распознавания слов - это не использовать бит-вектор, а использовать вместо них emergents. Тренируют отдельную модель предсказывать соседние слова в тексте, после чего с нее срезают верхние два слоя и используют полученный более короткий вектор значений. Но возможно, что на этом они и спотыкаются - оно должно давать в том числе классификацию по частям речи и тому подобному, но она наверное не очень хорошая. Возможно, тут может быть вариант - делать такую классификацию не с целиком словами, а с префиксами и суффиксами. Да можно наверное даже чисто статистически найти типовые префиксы и суффиксы, и потом отрезать их в "отдельные слова" для целей остальных тренировок.

А интересно, что они делают с немецкими составными словами?

Еще одна мысль: может, они делают еще и транслитерацию и пытаются ее интерпретировать. Это, наверное, полезно для всяких имен собственных.

[spamsink]

С окказиональными немецкими составными словами раньше было совсем плохо, приходилось вставлять пробелы вручную. Сейчас должно быть лучше.

Транслитерацию делают. Попробуй "Глокая куздра штеко будланула бокра". А потом замени заглавную Г на строчную.

[marooned_in_paradise]

Ну вообщем да, такие результаты - натурально awkward. В чем то Google прав :-)