Движок для словаря

Научно-технические вопросы применения русского языка в программировании. Проекты с сайта программирование-по-русски.рф, кроме ЯОС . Информация об организациях и людях, использующих или изучающих русский язык в программировании. Сравнение операционных систем.
Ответить
БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Движок для словаря

Сообщение БудДен » 10.04.19 13:29

Пилю на замену таблички в гугл докс. Сейчас попробую написать здесь ТЗ на систему разделения обязанностей.

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 10.04.19 17:09

Обновил документик, там примерно расписал порядок совместной работы. Идея взята из github, в основном.


https://bitbucket.org/budden/ppr/src/ma ... ew-default

И заодно выкинул грид - вместо него выдача в "свёрстанном" виде:

https://semantic-dict.ru/wordsearchresu ... 5&limit=10

Аватара пользователя
Сандро
Сообщения: 86
Зарегистрирован: 07.10.18 14:39

Re: Движок для словаря

Сообщение Сандро » 10.04.19 21:06

Для страницы по нижней ссылке не хватает:

Код: Выделить всё

body {padding: 6px;}

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 11.04.19 00:08

А для мобильных устройств это тоже нужно? Для бутстрапа это так же звучит?

Аватара пользователя
Сандро
Сообщения: 86
Зарегистрирован: 07.10.18 14:39

Re: Движок для словаря

Сообщение Сандро » 11.04.19 17:18

Это я к примеру... Просто когда загрузил страничку - написанное "прилипло" вплотную к левому краю. А отступы можно делать хоть где и хоть как.
(например "резиновый" отступ: padding: 0.5%; ну или margin: x%; , ежли для элементов блочного типа)))

Изображение

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 13.04.19 21:30

Пока не особо продвинулся. Идеология гита оказывается не такой простой, какой кажется сначала. Уже начинаю сомневаться, что она будет понятна для пользователя. Во всяком случае, сделал копирование статьи при входе в редактирование. Но полного цикла обработки статей нет. Последние дни как-то всё время недосып, плюс собеседования, поэтому медленно.

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 15.04.19 00:07

Сделал вчерне вывод всех "предложений о внесении изменений" для данной статьи. Понял, что не всё гладко с терминологией.

Есть язык, но на самом деле диалект и источник перевода тоже записан в справочнике языков.
Есть вариант и это относится к диалекту.

Когда чел. нажимает на "редактирование", то он тоже создаёт как бы вариант. Но называться это будет "предложение о внесении изменения", т.к. он создаёт тот вид статьи, который он считает правильным - это не новый диалект. А уж войдёт ли он в общий словарь или останется точкой зрения автора - это зависит от владельца языка. Но поскольку человек может создать и свой диалект, возникает кажущаяся неоднозначность. Раз есть неоднозначность, должны быть чётко разделены термины, чтобы эту неоднозначность "разоднозначить".

Без понятной терминологии и работать со словарём будет тяжело. Но забавна тишина. Одно дело - флудить по общим вопросам, а совсем другое - поучаствовать в конкретном деле. Печально. Были сегодня с женой на Гремячем ключе. Сергий Радонежский, фигурально выражаясь, лоб себе разбил, только чтобы дать русскому народу волю и разум, чтобы выйти из тогдашнего плачевного положения. Прямо вдохновляет, честно говоря. Не хватает сейчас нам такого персонажа, потому что фактически Россия УЖЕ стала филиалом мирового каганата, просто трусы закрывают глаза на это. А так-то все уже должны были всё понять - я последний дурачок, который этого не понимал. Ну и отчасти закрывал глаза, и отчасти был введён в заблуждение.

А тут вот даже такое совершенно безопасное дело и незатратное дело, как движок словаря (сравните с участием в вооружённой борьбе или с финансированием таковой борьбы), и то один в поле. Ну ничего, это ведь просто упражнение по голангу.
Последний раз редактировалось БудДен 15.04.19 00:18, всего редактировалось 2 раза.

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 15.04.19 00:17

Т.е., Сандро, спасибо за Ваш вклад, но я не умею быть благодарным и мне всегда мало. Я говорю о контрасте между бурным обсуждением каких-нибудь уязвимостей (и ещё более бурным выяснением, кто более неправ в интернете) и минимальной активностью, когда есть возможность сделать что-то фактическое.

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 15.04.19 23:59

Поменял терминологию, переделал редактирование, улучшил вывод "предложений по изменению", частично сделал добавление предложений. Потратил кучу времени из-за непонимания смысла слова strict в plPgSQl - я-то думал, это что-то вроде use strict в JS, и стал тыкать где не попадя, а это оказалось совсем другое. И узнал об этом я в результате отладки :)

А также навёл порядок в шаблонах и скачал улучшенную команду "открыть файл под курсором".

А также поэкспериментировал с отступами, но, по большому счёту, я не понимаю, как их сделать в bootstrap.

Аватара пользователя
Сандро
Сообщения: 86
Зарегистрирован: 07.10.18 14:39

Re: Движок для словаря

Сообщение Сандро » 16.04.19 05:43

Почитал малехо по бутстрап.
Насколько я понял - там есть уже готовые шаблоны, адаптированные в первую очередь под телефоны и иные малоразмерные "побрякушки", а остальная "кухня" - динамическое встраивание этих шаблонов в страницу. Ну а при изготовлении собственных шаблонов надо всё равно прописывать всё вручную. (хотя бы 1 раз)
Если использовать готовые (кем-то написанные) шаблоны, то там не надо заботиться ни об отступах, ни об менюшках, ни об адаптации под телефон, ни о чём-то ещё. Главное, чтобы выбранный для конкретной страницы шаблон соответствовал требованию "лопера". При несоответствиях по мелочам - дорабатываешь выбранный под ситуацию шаблон, внося в html, php, css, (иногда и в js) - свои "коррективы"...
А вот в этом документе меня приятно удивила одна особенность:
1. При наведении мыши на текст - появляется "глаз".
2. Жмём на него, а потом на карандаш.
3. В открывшемся окне - правим текст. (или переводим с инглиша)
- Очень удобная штука, надо бы повторить подобное...

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 18.04.19 01:21

Залил на https://semantic-dict.ru очередную версию, в которой в значительной степени реализовано редактирование. Правда, пока не хватает такой ключевой вещи, как приём изменений в основную версию словаря, так что пока это ещё нельзя назвать работоспособной программой.

Уже недоволен количеством грязи, которая накопилась в коде, но пока не представляю, как сделать лучше.

Все учётные записи уничтожены, т.к. база пока очень часто пересоздаётся с нуля.

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 19.04.19 11:47

Проект пока опять приостанавливается, т.к. опять вроде берут на работу. Посмотрим, что выйдет на этот раз :)

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 20.04.19 10:47

Если кто-то готов сделать движок словаря на любом движке, который удовлетворяет следующим требованиям:

- каждый пользователь может завести свой диалект и своё слово
- ячейкой является смысл, а не слово
- первичного ключа нет
- разные пользователи могут переводить один смысл
- дамп базы может быть скачан в любой момент любым пользователем (и не должен содержать хеши паролей).
- нужно закачать данные из тех словарей, которые у нас уже есть
- администрировать

То я оплачу VDS хостинг 10 рублей в день. Или можно shared hosting, если уложитесь в его рамки. У меня есть домен semantic-dict.ru, но если душа требует иного, можете зарегистрировать свой домен.

Как вариант, я готов принимать PR-ы в существующий движок, его готовность 30-50%, план развития можно уточнить/обсудить - у меня есть более-менее чёткое понимание, что должно получиться в конце.

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 20.04.19 10:48

Пишите где-то в течение недели, после этого я откажусь от существующего хостинга и semantic-dict.ru перестанет работать.

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 29.04.19 23:47

Хостинг отключил, экономия 11 руб в день. Когда смогу продолжить работу над проектом и смогу ли - не знаю.

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 28.05.19 12:57

Потихоньку ползём вперёд. Добавил поле "статус предложения".

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 30.05.19 15:20

Планируется выгрузка данных из старого движка и загрузка в новый. Есть желающие потрудиться? Надо написать несложный макрос на Excel, к-рый берёт данные из ячеек и квотит их в формате, приемлемом для вставки в SQL. Хотя... Можно, наверное, просто выгрузить в CSV???

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 19.06.19 23:29

Ещё немного покодил сегодня - заработал первый черновик формы внесения изменений в язык. По процессу любой пользователь может создать свою версию любой статьи, но потом она отправляется на подпись владельцу языка. Владелец языка либо принимает, либо отвергает правку. Почему-то оказалось сложно поддерживать соответствующую структуру данных, но потихоньку всё же ползём вперёд.

Аватара пользователя
Лис [Вежливый]
Сообщения: 561
Зарегистрирован: 08.10.18 13:32

Re: Движок для словаря

Сообщение Лис [Вежливый] » 20.06.19 02:20

Почему владелец у всего языка, а не несколько владельцев у разных групп слов? Т.е. почему он один, что за монархия. Где многопартийность?

Пример - человек, решил провести ввод некоего словаря при помощи группы волонтёров, а в это время другой человек решил провести ввод другого словаря (привлекая для этого другую группу волонтёров). Тогда всё, что вводит первая группа должно идти через первого человека, а всё что вводит вторая группа должно идти через второго человека.

То же самое относится к профессиональному сленгу. Профессий много, и могут быть коллизии, если всё пытается отмодерировать один человек, который не в теме некоторого сленга.

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 20.06.19 11:42

Где ж был ты, Лис, на этапе обсуждения ТЗ? Ведь оно небось уж год как висит?

Объясняю: монархия в языке нужна для упрощения администрирования. Для того, чтобы человек попытался начать работать и делать вклад в общее дело, не нужно ровно ничего, кроме регистрации этого человека. Но нужно понимать, что язык - это колонка в нашем гугл-словаре

https://docs.google.com/spreadsheets/d/ ... sp=sharing

Т.е. может быть "русский язык от Буддена", "русский язык от Лиса" и "русский язык от Сандро".

Кроме того, если человек в общем языке что-то наредактировал, то он может оставить свои предложения в режиме черновика, и этот язык для него будет выглядеть так, как он хочет. Единственное, что он не увидит изменений, сделанных в основной копии языка.

Таким образом, наш движок одновременно реализует разные философские идеи:
  • Анархизм - каждый свободен и независим
  • Множественность параллельных миров, которые одновременно являются субъективно и объективно существующими (т.к. чел при просмотре языка видит свои предложения поверх общих смыслов)
  • Монархия - каждый сам монарх в своём языке
  • Верховный Бог-творец (ваш покорный слуга), который может творить языки. На самом деле не будет беды, если каждый пользователь сможет творить языки, просто для этого нужно будет ещё эн раз ломать глаза в поезде МЦК утром или вечером. Так что Your PRs are welcome as usual.
Другое дело, что я не ожидаю, что будут какие-то волонтёры. В основном я делаю этот проект для пополнения портфолио и набора опыта в таких проектах. Плюс к тому, гугл докс явно ограничен в возможностях. Но в целом это хобби-проект.

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 20.06.19 11:49

Но на самом деле я боюсь, что эта тема не сработает, потому что множественность миров будет сложна для осознания. Я-то уже много лет работаю с распределёнными системами контроля версий и, можно сказать, для меня это как воздух. А для человека с улицы это может стать проблемой. Поэтому мне было бы весьма полезно получить обратную связь. К сожалению, для этого нужно доделать блин этот движок и выложить его на сайт... А это будет, видимо, не раньше конца года нынешними темпами. Будет печально, если по итогам окажется, что идея была ошибочной.

atz
Сообщения: 139
Зарегистрирован: 21.12.18 22:45

Re: Движок для словаря

Сообщение atz » 20.06.19 18:55

БудДен писал(а):тема не сработает ... идея была ошибочной
А какая разница? Хобби проект ведь на то и хобби.

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 20.06.19 19:35

У старого "движка" было три пользователя. Нужно, чтобы они не потерялись.

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 30.06.19 14:37

Как переводить движок? Прошу ответа у МихалНика, который уже имеет свои наработки.
Мне нужно перевести слова и фразы в шаблонах html, файлах golang и файлах t.sql,
а также в дампе базы данных.

Я пока мыслю с помощью pygments превратить все эти файлы в json, а потом делать замены фраз и слов в json.

Что ещё можно взять в качестве инструментов?

MihalNik
Сообщения: 244
Зарегистрирован: 05.11.18 11:02

Re: Движок для словаря

Сообщение MihalNik » 30.06.19 21:49

БудДен писал(а):
30.06.19 14:37
Как переводить движок?
Для начала определиться в каком виде какие части будут работать впоследствии.
Затем выполнить выборку переводимых единиц с запоминанием мест замен.
Потом перевести.
Что ещё можно взять в качестве инструментов?
MihalNik за создание и развитие собственных средств разбора и перевода.
Последний раз редактировалось MihalNik 04.07.19 18:19, всего редактировалось 1 раз.

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 03.07.19 21:49

И далеко ли МихалНик в этом продвинулся? Я вполне "за" использовать самодельные средства взамен иностранных, но делать их только ради NIH синдрома я не готов, также не готов ждать их и финансировать.

atz
Сообщения: 139
Зарегистрирован: 21.12.18 22:45

Re: Движок для словаря

Сообщение atz » 05.07.19 19:22

БудДен писал(а):
03.07.19 21:49
делать их только ради NIH синдрома я не готов
Так у тебя же на главной странице сайта написано, зачем их делать и как раз не ради NIH синдрома

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 06.07.19 10:41

В отличие от Лиса, я предлагаю выходить из заколдованного круга по широкой спирали, опираясь на уже сделанное.
А не рисовать новую спираль почти из точки.

Нет большой опасности использовать иностранное для машинного перевода исходников. Поскольку исходники потом
всё равно будут проконтролированы.

MihalNik
Сообщения: 244
Зарегистрирован: 05.11.18 11:02

Re: Движок для словаря

Сообщение MihalNik » 06.07.19 16:05

БудДен писал(а):
06.07.19 10:41
В отличие от Лиса, я предлагаю выходить из заколдованного круга по широкой спирали, опираясь на уже сделанное.
А не рисовать новую спираль почти из точки.

Нет большой опасности использовать иностранное для машинного перевода исходников. Поскольку исходники потом
всё равно будут проконтролированы.
Так дело не в опасности, а в производимой функциональности. Сделает ли перевод в json что-то больше, чем лексер или хотя бы столько же? Гарантировано ли отсутствие потерь и точное обратное преобразование? Квалифицируются ли при этом идентификаторы? Если этот json потом опять придется разбирать с учетом синтаксиса исходного языка, то смысл его получения под хорошим вопросом. Т.е. надо смотреть, облегчится ли труд.

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 12.07.19 00:54

Думаю, что пигменты могут примерно то же, что и лексер, или чуть больше. Преобразование обратимо, при этом формат представления един для всех языков - а это приятно.

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 12.07.19 00:55

MihalNik писал(а):
06.07.19 16:05
Квалифицируются ли при этом идентификаторы?
Не думаю, что оно понимает семантику языка.

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 12.07.19 01:37

activity.png
activity.png (5.12 КБ) 804 просмотра
Одно дело, когда у тебя нет работы и ты сидишь учишь язык, и попутно делаешь полезный проект.
И совсем другое дело, когда удаётся работать только урывками по дороге на работу, обратно и иногда дома.
Падение интенсивности в связи с переходом в хоббийный режим можно оценить как примерно двадцатикратное.

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 16.07.19 22:23

В движок вкралась ошибка проектирования, а точнее, просто процесс проектирования был недоделан. Я радостно установил, что у каждого языка будет владелец, который будет принимать предложения по поводу смыслов слов от других участников, как в гите.

Ошибка состояла в том, что типичное изменение в словарь состоит в том, что добавляется один или два смысла в разных языках и хотя бы одна связь между ними, говорящая о том, что эти смыслы друг друга переводят. Т.е. нужно утверждать не индивидуальные изменения, а группы изменений. Непонятно и то, кто будет за это отвечать. Если мы принимаем понятие "владелец языка", то нужно, чтобы сначала два владельца языка приняли два предложения о двух разных смыслах, а потом кто-то третий принял предложение о переводе. В этот момент может оказаться, что смыслы на самом деле не точно переводят друг друга, и оказывается, что работа владельцев языков была напрасной.

В итоге работа 2-3 последних месяцев вряд ли может быть сохранена. Часов-то в этой работе немного, но они были выкроены с трудом...

Думаю, что теперь делать и пока не придумал. Склоняюсь сделать как в Википедии: можно всё, но история сохраняется и модератор (пока он будет один на всю вселенную) может отменять любые изменения. Но есть и та ситуация, что я кое-как трудоустроен, и свой проект-питомец на голанге мне не нужен.

Соответственно, вторая опция - это признать поражение и заморозить проект. А словарь можно вести и в гугл докс по старинке.

Павиа
Сообщения: 136
Зарегистрирован: 23.05.19 21:28

Re: Движок для словаря

Сообщение Павиа » 17.07.19 10:28

Я думаю можно признать поражение.
1. Система слишком сложная для пользователя. Я вон git-ом стараюсь не пользоваться, так как он слишком много времени отвлекает, а пользы 0
2. Стимуляция как википедии нету. Там вузам налоговые вычеты. Начальство напрягают преподавателей те выбирают модератора который пишет и корректирует википедию, а он если нужно спрашивает других преподавателей.
3. В Гите патчи автоматически принимаются если они проходят тесты. А тут тестов нет.
4. И собственно то, что вы написали.

Лучше сделать простую форму с 5 полями
1. Предметная область(язык, бибилотека в которой встречается)
2. Слово.
3. Указания смысла.
4. Пример употребления.
5. Перевод.
А вот остальное это уже потом, когда потребности появятся.
И первое поле должно быть с автоподстановкой.

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 17.07.19 15:26

Помодерировать я и сам могу - интенсивность процесса низкая. В остальном "просто форма" слишком проста для реальной жизни. Вы же видели табличку https://docs.google.com/spreadsheets/d/ ... sp=sharing
?

Аватара пользователя
Лис [Вежливый]
Сообщения: 561
Зарегистрирован: 08.10.18 13:32

Re: Движок для словаря

Сообщение Лис [Вежливый] » 18.07.19 08:41

проблема: просто процесс проектирования был недоделан
решение: проектирование нужно с̶д̶е̶л̶а̶т̶ь̶ выполнить

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 18.07.19 11:19

Спасибо, кэп.

Аватара пользователя
Лис [Вежливый]
Сообщения: 561
Зарегистрирован: 08.10.18 13:32

Re: Движок для словаря

Сообщение Лис [Вежливый] » 18.07.19 12:22

Что если отказаться от понятия "владелец языка" и вместо него ввести понятие "владелец комплекта соответствий". Соответственно дальше с этими комплектами всё как в git-е. Захотел внести изменения, форкнул, внёс, предложил PR исходному владельцу.

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 18.07.19 13:22

Основное условие для данного проекта - это минимальная сложность реализации, даже в ущерб лёгкости эксплуатации. Чем плох вариант википедии? Можно вносить любые изменения, но модератор их видит и может отменить.

Аватара пользователя
Лис [Вежливый]
Сообщения: 561
Зарегистрирован: 08.10.18 13:32

Re: Движок для словаря

Сообщение Лис [Вежливый] » 18.07.19 22:25

Piki - A Peer-to-Peer based Wiki Engine

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 20.07.19 21:24

Нет, я не говорю про Wiki машину. Я говорю лишь о принципе управления изменениями: всем можно всё, но модератор может всё отменить.

Народ, кто ещё работает с версиями словаря в гугл шитс. Предлагаю свести версии воедино и пока продолжить работу в гугл шитс.

БудДен
Сообщения: 2839
Зарегистрирован: 07.10.18 14:01

Re: Движок для словаря

Сообщение БудДен » 14.08.19 22:30

Эх, опять трения на работе - замораживаем оберон и размораживаем движок словаря :) Чем-то похоже на бои за избушку лесника, где в роли избушки лесника выступаю я сам. Теперь концепция такова, что любой пользователь может делать всё, что угодно, но модератор может откатить историю.

Ответить