Словарь слов руского языка

Форум: Форум Сергея Алексеева Добавлено: Пн Фев 11, 2013 8:55 pm Тема: Сорок Уроков Русского

Вы пока составьте словарь русских слов, но такой чтобы он был справедлив к букве Ё. Составите....может и время придёт, и место не такое общее будет, как здесь, так и там где вы указали.

Надо открыть ветку на закрытой части. Всё же начать надо со словаря, как и было сказано. Словарь вам поможет набирать разные таксоны и определять разные слоги, но его нужно будет потом почистить. Убрать гоменнированные согласные и пр, пропустить через алгоритм связей, а только потом формировать таксоны.

Во многих словарях и текстах буква Ё заменена на Е, и словарь в этом случае если его формировать автоматически, будет писать слова без буквы Ё. Поэтому словарь нужно в ручную просмотреть и заменить где надо Е на Ё.

Это очень кропотливый труд, я не сторонник всеобзора этой темы. Этот труд для вас, а не толпе дать не заслуживаемое.

Словарь должен содержать не менее 500 000 слов.

Почти вся классика есть в формате txt, складывайте в дерикторию и программа сама пусть открывает файл, очередной, читает его, слова новые в екселевскую табличку заносит, потом прочитанный файл из этой директории переписывает в директорию "Прочитанное", и всё вам нужно будет только грузить txt файлы. Когда начитается, нужно поставить счётчик записанных новых слов, вы увидите что счётчик перестанет практически изменяться, один два слова. Вот и всё. Будем обрабатывать, как было сказоно выше.

Так как вы это должны делать сами...то вам нужно найти кто может писать макросы в ехеле, для автоматического чтения и внесения в базу слов. Читать и формировать словарь нужно только на классических авторах.

Готовый файл разместите в файлообменнике, любом и дайте ссылку на него участникам форума

Попроси программистов организовать в программе следующую процедуру. Когда извлеченное слово из читаемого текста проверяется на существование в словаре, то если оно есть там, пусть это слово пере запишется на ячейку выше, а слово которое стояло над ним запишется ниже. Кроме случая когда слово занимает первую позицию. Эта процедура позволит вам в конце получить не просто список слов, а список слов выстроенных по ранжиру встречаемости. Все слова которые стоят в начале списка это слова которые чаще всего встречаются в прочитанных текстах. В конце списка как правило осадок скапливается, слова редко встречаемые и слова с ошибками. Так же устроена работа (почти так) мозга. В подсознании хранится всё а в сознании оперативная информация которая встречается человеку повседневно.

Ещё одно замечание, текстовые файлы имеют разную кодировку, нужно этот факт учесть, т.е. нужно проверять кодировку. Нужно сначала перекодировать.
Перекодировщиком лучше пользоваться отдельно, на стадии подготовки текстов к читке. Собираешь файлы которые необходимо читать, загружаешь в ABConverter, он пакетно всё перекодирует. Потом уже файлы записываешь в ту директорию откуда читается словарь.

Фильтр настраиваешь так. У программиста верхняя строка пустая, первую колонку называешь «Slova», вторую «Kol», ставишь на этой строке фильтр. Потом на колонке Slova кликаешь кнопочку со стрелкой, выбираешь в «Текстовые настройки», потом «Содержит» и в верхнюю правую строку вводишь слог, после нажатия кнопки ОК, у тебя останутся только слова содержащие этот слог, если снимешь фильтр опять появится весь словарь. Отфильтрованные слова с нужным слогом можно копировать и переносить в удобное место для анализа.

Вам нужно разбиться по писателям и по каждому писателю сделать свой словарь. Потом объединить словари, дубликаты удаляются автоматически, в экселе есть такая функция. Получится общий словарь

Арина пишет:Девочки надо ведь ещё план действий разработать))

Чем будем заниматься сначала, чем потом, и как будем пользоваться файлом сообща, чтоб вносить в него поправки одновременно, а не по очереди...или как соединять проделанное с основным файлом.

Програмка почти готова (доделываются некоторые мелочи). Она будет заточена под Excel 2010.


Так вот по плану пока такое придумалось)

1. Закачать книги (самое лёгкое)
2. Убрать всем вместе слова со сдвоенными согласными (разделив согласные между собой).
3. Поправить все слова где ё стоит в начале (их список Наташа приводила)
4. Пройти все слоги: Согласный-Ё, Гласный-Ё тоже поделив между собой буквы.(мы же можем набирать например слог РЕ и посмотреть - есть ли там слова типа береза и её поправить на берёзу, ЛЕ - Аленушка - на Алёнушку и тд. То есть нам нужно будет проверить сочетания двухбуквенных слогов с буквой Е.)
5. Удалить заимствованные слова...видимо сравнивая со словарём иностранных слов?
6. Убрать слова с ошибками, а они случаются, если книга была отсканирована, а затем переведена в электронный формат...


Вопрос - как будем работать с таблицей одновременно...

Видимо каждый должен своей копией заменять потом тот или иной участок, который обрабатывал?

Что думаете?

Арина пишет:Лен, насчёт сакральных чисел...я ведь не все полностью пропускала произведения автора, поэтому о сакральных числах возможно говорить относительно именно текущего момента и текущего нашего поиска, может П нам так что-то подсказать...а у автора если брать всё - там больше будет встречаемость.
Я брала книги из Наташиной ссылки.

а душу и леса и Русь мне тоже понравилось))

Елена пишет:
А ты как предлагаешь проводить анализ?

Татьяна пишет:Я не знаю как вы частоту там просчитали я сидела вручную листала...)))

Арина пишет:Конечно интересно!!! И главное можно увидеть - какая основная идея через автора шла в мир.