Страница 1 из 5

Re: дневник Яос

Добавлено: 08.05.20 00:10
БудДен
Это какой-то ад. Занимаюсь всего лишь одним модулем Strings. Сначала ошибок было около 200, теперь осталось около 40. Это только ошибки компиляции. Ясно, что при массовых заменах я внесу и другие ошибки (уже внёс в те модули, которые поправлял, отлаживал долго).

Спать.

Re: дневник Яос

Добавлено: 08.05.20 22:48
БудДен
Вроде перевёл за сегодня TFTypeSys.Mod, до понимающего кириллицу TFPET ещё ого-го. Временное окно скоро закроется, и всё затянется ещё на месяц. Т.е. раньше начала июня не будет среды разработки с поддержкой кириллицы в идентификаторах, и даже картиночку красивую не получится нарисовать. Не говоря уж, конечно же, о компиляторе с поддержкой кириллицы в идентификаторах. Как бы не к осени он созрел. Жаль, что так медленно, вроде простая вещь, а тянется годами. Хорошо хотя бы то, что текущее дело можно делать в более-менее вялотекущем режиме.

Главное, не полениться и побольше потестировать модули.

Re: дневник Яос

Добавлено: 10.05.20 20:30
БудДен
Дело пошло существенно медленнее в последние два дня из-за других дел, но сегодня TFAOParser.Mod с UCS32 скомпилировался. Теперь нужно тестировать и открывается (видимо) прямая дорога к поддержке русскоязычных идентификаторов хотя бы в IDE. Впилить их в компилятор может оказаться намного сложнее... Но можно будет зато показывать красивые картинки :)

Re: дневник Яос

Добавлено: 12.05.20 14:21
БудДен
Вчера улучшил вывод новых 32-разрядных строк в отладчике, для этого сделал, чтобы печать ловушек (TRAP-ов) происходила через мой модуль отладочной печати (завёл глобальную переменную, к-рая хранит функцию вывода стека), и сам этот модуль пришлось местами поменять. Это классно и это давно нужно было сделать, но парсер для редактора всё равно далёк от работоспособности и валится почти на всём. Начались рабочие дни, много времени теперь не смогу этому уделять. Буду ковыряться потихоньку...

Re: дневник Яос

Добавлено: 12.05.20 23:59
БудДен
Пока качались репозитории, пересобрал Linux32 и образ под QEMU. Правда, последний без сетки. Но парсер не сильно продвинулся.

Re: дневник Яос

Добавлено: 13.05.20 23:11
БудДен
Было особо некогда, но улучшил процесс сборки BIOS32. Теперь можно с довольно высокой степенью автоматизации собрать и запустить образ для qemu с работающей сетью (под Linux). Это, в общем-то, к основной теме нынешней деятельности никак не относится, просто было сподручно это сделать. Идеально было бы забрать из A2 патчи, которые чинят веб-браузер, но неизвестно, когда до этого дойдут руки. Явно не раньше, чем заработает TFPET.

https://gitlab.com/budden/jaos/-/commit ... 880bad2d29

Re: дневник Яос

Добавлено: 14.05.20 23:29
БудДен
Лучше бы я поспал, но раз уж исправил сравнение строк, то надо про это написать. Отладка нового парсера продвинулась на маленький шажок.

Re: дневник Яос

Добавлено: 15.05.20 16:52
Павиа
А сравнение у вас по правилам Unicode или по символьно? Юникод сурогатные пары требует объединять как следствие длина становится короче. Как по мне правило это тупое. Даже вредное. Так как много алгоритмов выборки и поиска отсекают по длине, а это правило порождает, вторую отличную от первой длину.

Re: дневник Яос

Добавлено: 15.05.20 20:45
БудДен
Сравнение посимвольно. Я сначала читаю из utf-8, вот что получилось, то и сравниваю. А где этот алгоритм описан и что является примером суррогатной пары?

Re: дневник Яос

Добавлено: 16.05.20 23:21
БудДен
Благодаря помощи команды A2, научился по переменной типа ANY (указатель на любую запись) определять родословную (т.е. базовые типы по порядку наследования) типа этой записи. Это понадобилось после того, как выяснилось, что модуль отладочной печати не печатает унаследованные от базовых типов поля записей. Однако ни отладочную печать ни доделал, ни парсер не работает. Мало времени, медленно идёт, цели множатся как головы гидры. Настроение средне паршивое. Шансы выпустить юникодный TFAOParser в мае тают.

Re: дневник Яос

Добавлено: 18.05.20 13:56
БудДен
Готовимся к консервации проекта, см http://вече.программирование-по-русски. ... 5cd52289fc

Re: дневник Яос

Добавлено: 19.05.20 19:18
БудДен
В "подробной печати" теперь печатаются поля предков записи, а не только поля самого младшего класса. Плюс немного подчистил этот говнокод. Вроде всё работает.

Re: дневник Яос

Добавлено: 20.05.20 14:02
БудДен
Скопировал из A2 изменения от Сергея Дурманова (спасибо), которые чинят веб-браузер.
Теперь он работает, хотя и надо его иногда пинать. Открывается в т.ч. мой сгенерированный маркдаун, http://xn-----6kcajervcdvqarhfgengcekya ... -docs.html

Re: дневник Яос

Добавлено: 20.05.20 14:05
БудДен
Перепахал ещё один модуль под 32-битные знаки. Объём проделанной работы устрашает, а модульно тестировать можно не всё (да и кому не лень этим заниматься)? Остался, по сути дела, только один файл, чтобы попробовать запустить TFPET, полностью основанный на UCS32. Там, где он обращается к другим модулям, не переведённым на UCS32, происходит конвертация в/из UTF-8, который пока что во многих местах является внутренним представлением строк в А2. Чувствуется, что тема внедрения 32-битных знаков по трудоёмкости может оказаться гораздо эпичнее, чем даже перевод на русский язык...

Re: дневник Яос

Добавлено: 22.05.20 23:43
БудДен
Консервация пока отменяется, но может ещё состояться.

В модуле TFPET2 было с утра 300 с лишним ошибок компиляции, теперь осталось 194. Ещё пара дней и можно будет посмотреть, как он падает.

Re: дневник Яос

Добавлено: 23.05.20 18:45
БудДен
Ошибки компиляции закончились, но пока не работает, что было вполне ожидаемо. Во всяком случае, окошко уже показывается. Более того, даже открылся файлик и редактор не упал. Правда, и текст не раскрашивает. Но это уже определённый uspekh.

Re: дневник Яос

Добавлено: 24.05.20 11:34
БудДен
Умеем читать, сохранять и раскрашивать файл. Теперь пора сделать модельный набор ключевых слов на РЯ и раскрасить их, потом сделать снимок экрана и всем показывать. Наверное, первый случай в истории, когда разработка языка начинается с раскраски синтаксиса в IDE. Хотя в наше время и такое наверняка бывает.

Re: дневник Яос

Добавлено: 24.05.20 23:24
БудДен
Добавил поддержку юникодных ключевых слов в модуле раскраски,

https://gitlab.com/budden/jaos/-/commit ... 1c79ac1878

Теперь могу делать такие картиночки:
Раскраска-с-кириллицей.png
Раскраска-с-кириллицей.png (43.6 КБ) 2508 просмотров

Re: дневник Яос

Добавлено: 24.05.20 23:28
БудДен
Почему-то не работает ЛогЯдра.Строка

Re: дневник Яос

Добавлено: 27.05.20 12:55
БудДен
Ндя, процесс принимает нехорошую форму, я изрядно погряз в этих строках. Исправил юникод в ряде мест, но вставил одну функцию в код работы с потоками и при этом ошибся в расчёте длины строки... В итоге стал падать код, в котором это закопано глубоко. Вроде сейчас эту ошибку локализовал, посмотрим... Всё-таки приятно, что A2 собирается быстрее, чем я набил этот абзац.

Re: дневник Яос

Добавлено: 27.05.20 20:33
БудДен
Ещё немного дизайнерских изысков, и нужно уже с этим завязывать. Следующий этап - это поддержка парсером TFPET (показ структуры кода и переход к определению).

Re: дневник Яос

Добавлено: 30.05.20 21:45
БудДен
Это начинает становиться интересным.
Медведка-структура.png
Медведка-структура.png (20.2 КБ) 2696 просмотров

Re: дневник Яос

Добавлено: 31.05.20 19:50
БудДен
Сегодня исправил пару ошибок и приступил к переводу инфраструктуры компилятора Fox на буквы UCS32.
Хоть это и ожидает быть долгим и трудным, возникает ощущение, что проект Яос перевалил за экватор.

Re: дневник Яос

Добавлено: 31.05.20 23:04
БудДен
Сделал один модуль - StringPool, он совсем простой.

Re: дневник Яос

Добавлено: 04.06.20 13:28
БудДен
Использовал немного наёмного труда. Если кто-нибудь хочет дать денег на первую русскоязычную операционную систему XXI века, то этот опыт можно расширить. Как только наберётся два раза по столько, сколько я успел израсходовать (21 евро помножить на два), закажу следующую порцию. Из своих, возможно, пожаблюсь. Я и так вкладываю в это кучу своего времени, в пересчёте на деньги это тысяч 50 в месяц в среднем за последний год.

Re: дневник Яос

Добавлено: 06.06.20 17:23
БудДен
Завершил перенос вики по ЯОС и акт. оберону в репозиторий, теперь дока живёт здесь:

https://gitlab.com/budden/jaos/-/blob/я ... авление.md

Если кто-то заметит косяки типа битых ссылок, пишите.
В вики вставил сообщение об устаревании, но нужно либо снести все страницы, чтоб их не было, либо вообще данную вики уничтожить и поставить перенаправление. Там, правда, есть ещё какие-то статьи, не относящиеся к A2.

Re: дневник Яос

Добавлено: 11.06.20 22:21
БудДен
Проект слегка парализован. Во-первых, работаю. Во-вторых, изучаю ситуацию в США. В лучшем случае, ситуация там деградирует настолько, что защищать РЯ не понадобится.

Re: дневник Яос

Добавлено: 12.06.20 12:39
БудДен
В честь дня России и в честь Монка, который проявляет себя как блестящий евангелист русскоязычного программирования (я ему в подмётки не гожусь в этом амплуа), решил немного посидеть, и вот у меня компилируется такой код:

Код: Выделить всё

MODULE Proba; IMPORT Commands, KernelLog; 

CONST Ойляля* = 8;

PROCEDURE Процедурка*(ц: Commands.Context);
BEGIN
	ц.out.Int(Ойляля,0); ц.out.Ln;
	KernelLog.String("Мечта сбывается..."); KernelLog.Ln; END Процедурка;

PROCEDURE Test*(ц: Commands.Context);
BEGIN
 Процедурка(ц); END Test; END Proba.  

Proba.Процедурка~
В гитлабе этого ещё нет. Говорить о полной поддержке компилятором русскоязычных идентификаторов рано, т.к. это работает не во везде. Например, нельзя вызвать из одного модуля процедуру другого с кириллическим именем.

Re: дневник Яос

Добавлено: 12.06.20 14:51
БудДен
Дело, оказывается, было не в том, что другой модуль, а в том, что кириллический идентификатор шёл после точки. Наверное, впереди такие сюрпризы ещё есть, но в целом похоже на то, что теперь в Яос можно писать идентификаторы в кириллице. Ключевые слова в кириллице компилятор пока не понимает, займусь теперь этим.

Re: дневник Яос

Добавлено: 12.06.20 21:37
БудДен
Научил ЯОС компилировать ключевые слова и идентификаторы в кириллице (см. тему про это)

Более-менее работает. Не пробовал пока модули с русскими именами, т.к. под виндой и файлы с русскими именами не работают. Также команды с кириллицей вызываются только из редактора. Ни в консоли, ни в KernelLog они не работают. Понятно, что есть ещё какие-то ошибки, на которые я не успел натолкнуться. Однако даже в FoxScanner.Mod я вставил одно-два экспортируемых кириллических имени - всё собирается и работает.

Это большой успех. В целом всё равно понятно, куда дальше копать, но можно чуть-чуть остановиться и попланировать. Времени в ближайшие несколько недель на A2 у меня почти не будет, так что есть время осмыслить данную информацию.

Re: дневник Яос

Добавлено: 13.06.20 11:21
БудДен
Выложил машину для VirtualBox, надеюсь, на этот раз в формате ova она будет более пригодна к использованию. Если есть кто-нибудь живой здесь, прошу проверить и отписаться.

Re: дневник Яос

Добавлено: 16.06.20 22:47
БудДен
Потихоньку учу Яос под Юиндоюз понимать имена файлов в кириллице, пока что не доучил.

Re: дневник Яос

Добавлено: 18.06.20 12:57
БудДен
Вчера практически под грохот танков доделал.
кириллические-имена-файлов.png
кириллические-имена-файлов.png (93.44 КБ) 2807 просмотров
Доделано не всё, например, нельзя из A2 создать в редакторе новый файл с именем в кириллице,
будут проблемы и с директориями. Но, во всяком случае, файлы с именами в кириллице теперь показываются
и можно их редактировать. Ещё немного этим позанимаюсь и будем двигаться дальше.

Re: дневник Яос

Добавлено: 19.06.20 16:43
БудДен
Вроде доделал имена файлов в кириллице и сразу после этого сами собой заработали имена модулей в кириллице. Вот такой код работает:

Код: Выделить всё

модуль ПробаПера;
использует Проба, UCS2;

тип
	Эр = набор
		эс от_компоновщика "Проба.эс": SIZE кн;
		
проц Дуй*;
  перем эр, эр2: Эр;
тело
	эр2.эс := 7100;
	TRACE( эр.эс); кн Дуй;

кн ПробаПера.Дуй ~

Re: дневник Яос

Добавлено: 19.06.20 20:02
БудДен
Сделал документик с кириллическим кодом. Представляю, что теперь будет: произойдёт пересмотр набора ключевых слов и этот текст перестанет компилироваться. Например, он перестанет компилироваться после переименования SIZE. Фигово. Но ничего, мы же тут делаем прототип.

https://gitlab.com/budden/jaos/-/blob/я ... -записи.md

Re: дневник Яос

Добавлено: 19.06.20 22:56
БудДен
Захотелось написать новый модуль на кириллице, и тут стало ясно, что пора сделать яроклаву. Заготовку сделал, она работает, правда, только под Windows.
Когда дойдёт дело до нативной A2, надо не забыть, что там в событие Release не приходит код клавиши.

Re: дневник Яос

Добавлено: 22.06.20 00:08
БудДен
Реализовал яроклаву для Win32, при этом на пробел-( и пробел-) навесил кавычки-лапки, хотя
они пока и никак не используются в языке (надеюсь, когда нибудь удастся это сделать).

Исходную яроклаву на js смотрите тут: http://программирование-по-русски.рф/яроклава-js.яргт/

Re: дневник Яос

Добавлено: 23.06.20 01:35
БудДен
Сегодня танчики не едут, но я всё же сделал, чтобы Яроклава работала в Яос под Linux.


https://gitlab.com/budden/jaos/-/commit ... baedc83164


Теперь Яроклава не работает только в нативной Яос. Потом...

Re: дневник Яос

Добавлено: 24.06.20 09:01
БудДен
Опять проехали танки, поэтому я сделал, чтобы Яроклава работала и в нативной Яос. Теперь она работает везде и для полного счастья не хватает только подсветки латиницы.

Re: дневник Яос

Добавлено: 26.06.20 00:55
БудДен
Сделал шрифт с отличающейся латиницей, но там есть конкретная проблема с курсивом - по сути дела он вряд ли будет работать, потому что за 10 лет никто не стал его спонсором. Зато этот шрифт Mono PT поддерживает все языки народов России (вот так и поддерживает, без курсива).

Теперь всё надо переделать, по всей видимости - либо взять другой шрифт с такой же метрикой (кстати, там была нестандартная ширина в 1000, а должна быть степень двойки) и сделать из него курсив, либо просто заменить его на DejaVu, который вроде уже прижился. Хотя у меня ощущение, что этот шрифт поприятнее. Может это я уже от усталости.

То, что работает, выглядит так (найдите три буквы, которые затесались не туда, куда надо - это будет трудно, что и говорит о неуспехе данного предприятия).

В целом эксперимент нужно признать неудачным и сделать всё же режим подчёркивания.

Re: дневник Яос

Добавлено: 26.06.20 00:59
БудДен
Надо, во всяком случае, записать видео про то, как я это делал, чтобы потом вспомнить.

Re: дневник Яос

Добавлено: 26.06.20 06:03
Павиа
По первой трудно, но когда понятно что они худые 3 в миг находишь.
пробелНажатЛи
ввелиЛиЧтоТоСПробелом

Re: дневник Яос

Добавлено: 27.06.20 20:31
БудДен
Это был классный эксперимент, но пока что отличать кириллицу от латиницы мы будем следующим образом:

Re: дневник Яос

Добавлено: 27.06.20 20:43
БудДен
На этом цикл работ по поддержке кириллицы при вводе и отображении считается успешно завершённым, хотя, конечно, какие-то хвосты остались.
Например, я натолкнулся на ограничение длины имени команды в 32 буквы (или 16 русских букв, т.к. UTF-8). Прямо сразу и в лоб исправить не получилось.

Приступаем к следующему большому этапу - созданию инструмента для автоперевода.

Re: дневник Яос

Добавлено: 28.06.20 00:14
БудДен
Решил записать видео со знаниями про FontForge, по результатам записи и послевечеринки получилась такая вот картинка:

Re: дневник Яос

Добавлено: 30.06.20 23:29
БудДен
Сегодня был не лучший день, однако я доделал полный комплект своих русифицирующих задумок, кроме яролита (в котором важнее само соглашение, чем инструмент преобразования).

* яро-раскладка, т.е. ввод латиницы при удерживаемом пробеле
* отключаемый режим подчёркивания всей латиницы на экране
* шрифт, в котором латиница отличается по виду от кириллицы
* форма курсора показывает, какая раскладка клавиатуры включена

Всё таки есть кардинальное отличие между тем, когда ОС в твоём распоряжении,
и той ситуацией, в которой находятся программисты Windows/Linux. Задачи решаются
проще, причём они решаются. Для существующих ОС некоторые из этих задач
просто никак не решались в общем виде.

Релиза пока нет, но, видимо, его нужно уже сделать.

Re: дневник Яос

Добавлено: 01.07.20 23:22
БудДен
Выкинул шрифты и вернул подчёркивание. Но нужно ещё опробовать сдвиг букв кириллицы и латиницы по высоте. Жаль, что я не знаю, как его сделать, т.к. для немоноширинных шрифтов высота знака является переменной величиной и неясно, как поднять на долю высоты строки - видимо, можно плясать только от размера кегля, но он в момент рисования уже где-то давно потерялся. В принципе это и на подчёркивании плохо сказывается, но думается, для сдвига по высоте будет более заметно.

Пора уже с этим завязывать и возвращаться к теме инструментов для перевода.

Re: дневник Яос

Добавлено: 03.07.20 20:30
БудДен
Сделал в итоге оба варианта - и опускание латиницы, и выделение подчёркиванием отличающихся букв латиницы. Режимы можно переключить,
вызывая команды в меню "Главное меню/текст"

Пересобрал только Win32. Со временем, когда всё устаканится и станет ясно, что всё в порядке, нужно будет пересобрать и остальные сборки.

https://gitlab.com/budden/jaos/-/commit ... 53b22ee0d4

Теперь, собственно, можно с нормальным уровнем комфорта редактировать двухъязычные тексты и при следующей возможности продолжу разработку лексера-парсера линзы для полумашинного перевода кода.

Re: дневник Яос

Добавлено: 04.07.20 09:20
БудДен
Переделал на подчёркивание всей основной латиницы. Всё же надо ещё как-то выделить и буквы вне кириллицы и латиницы, т.к. они тоже могут совпасть.

Re: дневник Яос

Добавлено: 05.07.20 01:13
БудДен
Сделал новый образ вирт. машины, который можно скачать (см. прикреплённую тему в этом форуме) и записал видео о нём

Продолжил работу над лексером-парсером-линзой, пока сделано очень мало, но дело сдвинулось с мёртвой точки - удалось наконец-то отцепиться от этой эргономики и подавить проект создания шрифта :)

Re: дневник Яос

Добавлено: 05.07.20 23:36
БудДен
Имя команд в кириллицы было всего 16 букв, это было неприемлемо. Расширил до 32. Теперь, нужно опять скорее возвращаться к лексеру-парсеру.

Re: дневник Яос

Добавлено: 10.07.20 20:23
БудДен
Чуть-чуть покопал лексер, успех пока не близок и свободного времени достаточно мало. Сделал несколько задач платными https://gitlab.com/budden/jaos/-/issues и даже пытался обратиться к какому-то фрилансеру. Затея проста - просить не большую сумму на что-то непонятное, а собирать маленькую под конкретные задачи. Плюс к тому, обкатать механизм вхождения сторонних людей в тему, под это придётся подготовить достаточный объем обучающих материалов. Впрочем, наплыва желающих что-то делать не наблюдается. Вероятно, сумму нужно умножить на три, чтобы выстроилась очередь желающих, но жаба это не одобряет.

Re: дневник Яос

Добавлено: 12.07.20 00:25
БудДен
Продолжил копаться в лексере, исправил часть ошибок, а потом сдуру решил перевести его на UCS32. Теперь, скорее всего, он работает гораздо неправильнее, чем раньше. Но в целом-то он уже готов и можно переходить к изменению парсера.

Re: дневник Яос

Добавлено: 13.07.20 23:16
БудДен
Удалось написать (а скорее даже стереть) несколько строчек из лексера-парсера. Там была непонятная обработка знака ESC с кодом 1B, и я её выкинул. Думается, что она была нужна для интерпретатора, хотя точной цитаты из Сергея Дурманова я так и не нашёл. Во всяком случае, в исходниках ЯОС такого знака при пересборке не попалось.

Re: дневник Яос

Добавлено: 15.07.20 20:46
БудДен
Сделал первую версию переводилки ключевых слов.

Было:

Код: Выделить всё

rposes only *)
		VAR i: SIGNED32;
		BEGIN
			D.Ln;  D.Int( indent,1 );
			FOR i := 1 TO indent DO D.Str( "  " );  END;
			D.Str( "end : " );  D.Str( s );  D.Str( " at pos " );  D.Int( token.position.start,1 );
			DEC(indent);
		END E;
Стало:

Код: Выделить всё

		проц E(конст s: ряд из CHAR);
		перем 
			i: SIGNED32; 
		тело
			D.Ln(); 
			D.Int(indent, 1); 
			цикл_для i := 1на indentшаг 1 делай 
				D.Str(\"  "\)
			кн; 
			D.Str(\"end : "\); 
			D.Str(s); 
			D.Str(\" at pos "\); 
			D.Int(token^.position.start, 1); 
			DEC(indent, 1)
		кн E; 
Здесь, конечно, ещё пахать и пахать. Самое неприятное - это "на" вместо "до" в цикле, т.к. в английском это одно слово "то", а в русском - два. Остальное - сохраняется лишь небольшая часть всех комментариев, а также пробелы "нормализуются", в результате чего исходное форматирование документа утрачивается. Чтобы это исправить, нужна довольно массированная переработка всего кода разбора. Я её начал, но до конца далеко.

Re: дневник Яос

Добавлено: 19.07.20 23:42
БудДен
Всё начиналось невинно - возникли проблемы с тем, что "на" и "до" - это одно и то же слово "to". Кончилось тем, надо продублировать порядка 40 файлов, составляющих компилятор и окружающие его вещи, чтобы получить возможность дорабатывать новую версию компилятора. Менять рабочий компилятор "на живую" не совсем правильно, т.к. нет права на ошибку. В течение некоторого времени это прокатывало, но уже наступил момент, когда это больше не работает. Пока продублировал порядка 7 файлов. В целом это не так уж и сложно...

Re: дневник Яос

Добавлено: 20.07.20 22:36
БудДен
Пришлось дублирование переделывать заново, в итоге по компилятору пока двигаюсь назад, хотя надеюсь, что в правильном направлении.

Начали с товарищем https://gitlab.com/budden/jaos/-/blob/8 ... е-языка.md

Поскольку я плачу за эту работу, это возможность помочь проекту материально. Ставка 350 рублей за страницу, всего страниц порядка 80. Пока переведено 10 и ещё не заплатил ничего.

Re: дневник Яос

Добавлено: 23.07.20 22:09
БудДен
Доперелисовал компилятор, теперь парсер падает. Это, в принципе, более-менее хорошо, не считая того, что я забыл, что в нём последнее менял. Ну ничего, разберёмся. Последнее время стало как-то некогда.

Re: дневник Яос

Добавлено: 23.07.20 23:24
Лис [Вежливый]
Доперелисовал
Да!

Re: дневник Яос

Добавлено: 25.07.20 17:44
БудДен
Вот теперь точно доперелисовал. Смысл "лисования" состоит в том, что для (почти) каждого модуля Fox* создан параллельный ему Lis*, чтобы был один компилятор в работе и один - на этапе переделки. Правда, перелисованный компилятор пока почти не работает, но зато заложена методическая основа для дальнейшего движения.

Re: дневник Яос

Добавлено: 25.07.20 19:05
БудДен
Не знаю, как там ретроградный Меркурий, но поступательное движение, похоже, скоро сможет продолжаться.
Вот как на данный момент выглядит процесс преобразования ключевых слов. Было:

Код: Выделить всё

MODULE Proba;

CONST x = 1;

TYPE rr = POINTER TO RECORD i : INTEGER END;

OPERATOR ^ "="-(CONST a, b: rr): BOOLEAN;

(* OPERATOR ^ "="-(CONST a, b : rr): BOOLEAN; *)

END Proba.
Стало

Код: Выделить всё

модуль Proba;
конст 
	x = 1; 
тип 
	rr = укль до набор 
		i: INTEGER; 
	кн; 

	операция "="-(конст a, b: rr): BOOLEAN;
	кн "="; 
кн Proba.
(исправлена одна ошибка в парсере. Весь сыр-бор последних пары недель был из-за того, что TO нужно разделить на "НА" и "ДО", пока что этого не сделано, но подготовлена почва).

Можно обратить внимание, что комментарий потерялся. Такого происходить не должно и это является целью ближайшего эээээ времени.

Re: дневник Яос

Добавлено: 29.07.20 12:35
БудДен
https://gitlab.com/budden/jaos/-/commit ... a2394063a2 - новая порция описания языка. Ещё 10 страниц в очереди, ждут вычитку.

Кроме того, перелисованный компилятор собрался и даже немного обогатил синтаксическое дерево инфой о конкретной лексеме (отладка ещё впереди). Когда дерево будет достаточно богатым, можно будет непосредственно приступать к инфраструктуре переводчика. Думаю, это всё же вопрос не недель, а месяцев.

Re: дневник Яос

Добавлено: 30.07.20 21:42
БудДен

Re: дневник Яос

Добавлено: 05.08.20 16:20
БудДен
Всё же оба компилятора не совсем совместимы - перевёл ключевые слова в каком-то модуле и он не компилируется старым компилятором. В целом достаточно, чтобы перелисованный компилятор компилировал все варианты, а старый - только англоязычный. Правда, это означает, что переход на русские ключевые слова в новых модулях пока откладывается.

Начал создавать инфраструктуру для перевода. При ближайшем рассмотрении в задаче обнаружилось несколько довольно больших подзадач. Дерево грамм. разбора довольно сложное.

Изначально планировал расширить язык, чтобы можно было задавать и английское, и русское название для сущности. Однако подумал-подумал и вместо этого добавил специальные метаданные, в которых и будут указываться переводы. Это соотносится с общей идеем, что мы создаём ОС на русском языке, а английского в ней не более, чем для того, чтобы она не перестала работать. Был в один момент дрейф в сторону двухъязычности, но теперь с этим покончено. Избавиться от английских названий сразу не получится, т.к. команды могут вызываться по динамически формируемым именам, которые никаким способом, кроме полного тестирования, найти нельзя. Полное тестирование нам недоступно. Поэтому в течение длительного времени у всех внешних (интерфейсных) имён останутся английские переводы, к-рые будут загружаться из вот такого XML файла на достаточно раннем этапе загрузки.

При этом существует нижний предел размещения этого модуля. Те модули, которые грузятся до него, должны быть одноязычными хотя бы на момент загрузки - за это придётся некоторое время бороться. Да и вообще, работы ещё много (больше, чем хотелось бы).

https://gitlab.com/budden/jaos/-/commit ... e66eff35e1

Re: дневник Яос

Добавлено: 05.08.20 16:26
БудДен
Параллельно идёт работа над переводом описания языка, пока что оно выглядит вот так:

https://gitlab.com/budden/jaos/-/blob/c ... е-языка.md

Это 3/8 общего объёма документа.

Ещё один кусочек находится в конвейере, рассчитываю на этой неделе его допилить.

Re: дневник Яос

Добавлено: 09.08.20 20:53
БудДен
Последние новости:
  • переведена половина описания языка (пока что с англоязычными ключевыми словами)
  • реализована инфраструктура для динамического перевода имён модулей и команд. Для каждого модуля и для каждой команды можно задать русскую и английскую версию названия. При этом команду можно вызвать как по русскому, так и по английскому названию. Например, можно написать ТестПереводыЭлементовКода.ПокажиБазуДанныхПереводов, а можно написать TestTransCodeElem.ShowTransDb - и будет выполнено одно и то же. Компилятор пока этих переводов не видит (да и не увидит). В файле локализации также указано, какая из версий существует в реальности, а какая является псевдонимом. Такая же структура будет использована для перевода исходных текстов (но эта задача оказалась слишком зубастой - потому и начал с более простой задачи динамиского перевода).
  • в сборку ЯОС включён первый модуль с русскоязычными ключевыми словами (базовые типы пока остались англоязычными).
  • немного попереводил интерфейс, и теперь заглавная страница ИСР почти полностью русскоязычная.
На картинке показан модуль с русскоязычными ключевыми словами и файл настроек локализации модулей и команд.

Re: дневник Яос

Добавлено: 10.08.20 17:09
БудДен
Сложный получается клубок с этим переводом... Реализовал возможность импортировать модули по переведённым именам. Но это всё пока что не про то. Попробую теперь научиться переводить имена модулей при импорте.

Re: дневник Яос

Добавлено: 11.08.20 10:05
БудДен
Научился автоматически переводить имена импортированных модулей по таблице переводов, заданной в XML. Было:

Код: Выделить всё

MODULE ТестИмпортаСПереводом; 
 
IMPORT KernelLog;

PROCEDURE Do*;
BEGIN KernelLog.String("TestSOT.Do"); KernelLog.Ln END Do;

END ТестИмпортаСПереводом.
Стало:

Код: Выделить всё

модуль ТестИмпортаСПереводом;
	использует ЛогЯдра;

	проц Do*;
	тело
		ЛогЯдра.String(\"TestSOT.Do"\); 
		ЛогЯдра.Ln()
	кн Do; 
кн ТестИмпортаСПереводом.
Можно сказать, лёд тронулся, в проекте ЯОС закончилась подготовительная работа и началась основная. Правда, способ перевода очень стрёмный - меняется имя идентификатора в уже существующем дереве разбора. Что-то может сломаться. Посмотрим, как дальше пойдёт. Ну и очевиден ещё ряд проблем - уродуются строковые литералы, криво работают автоотступы, комментарии теряются или переезжают. Кроме того, модуль может импортироваться с псевдонимом и этот случай пока что не обрабатывается.

Re: дневник Яос

Добавлено: 11.08.20 14:11
БудДен
Теперь и пседонимы модулей переводятся. Например,
KL := KernelLog может превратиться в ЛЯ := ЛогЯдра.

Re: дневник Яос

Добавлено: 12.08.20 20:04
БудДен
Научился переводить константы уровня модуля. Похоже, что дальше дело техники в плане создания инфраструктуры перевода. Основная проблема теперь - что качество самой печати синт. дерева в виде исходника несколько хромает - это придётся чинить (или мириться?). В общих чертах представление об этом есть, но это явно будет уже в следующем "спринте".

Re: дневник Яос

Добавлено: 13.08.20 18:32
БудДен
Ещё немного продвинулся. Теперь из такого исходника

Код: Выделить всё

MODULE TestImportaSPerevodom; 
 
IMPORT KL := KernelLog;

CONST constant* = 5;
PROCEDURE Do*;
  PROCEDURE subProc(); VAR myVar: ARRAY 5 OF CHAR; 
  BEGIN KL.String(myVar); END subProc;
BEGIN subProc(); END Do;
END TestImportaSPerevodom.
И такого XML файла

Код: Выделить всё

<PerevodyEhlementovKoda>
  <Module ru="ТестИмпортаСПереводом" en="TestImportaSPerevodom" russianExists="0" dyn="1">
    <Scope ru="Дуй" en="Do" russianExists="0" dyn="0">
      <Scope ru="подПроц" en="subProc" russianExists="0" dyn="0">
        <Scope ru="мояПерем" en="myVar" russianExists="0" dyn="0"/></Scope></Scope>
    <Scope ru="константа" en="constant" russianExists="0" dyn="0"/>
  </Module>
  <Module ru="ЛогЯдра" en="KernelLog" russianExists="0" dyn="1">
    <PopularAlias en="KL" ru="ЛЯ"/></Module></PerevodyEhlementovKoda>
Получается такой исходник:

Код: Выделить всё

модуль ТестИмпортаСПереводом;
  использует ЛЯ := ЛогЯдра;
конст 
  константа* = 5; 
  проц Дуй*;
    проц подПроц;
    перем мояПерем: ряд 5 из CHAR; 
    тело  ЛЯ.String(мояПерем)  кн подПроц; 
  тело
    подПроц()  кн Дуй; 
кн ТестИмпортаСПереводом.

Re: дневник Яос

Добавлено: 16.08.20 19:37
БудДен
Переводятся поля записи.

Re: дневник Яос

Добавлено: 16.08.20 22:36
БудДен
Переводится тип записи в выражении типа "укль на NAME"

Re: дневник Яос

Добавлено: 19.08.20 10:21
БудДен
Отпуск закончился, делать что-либо некогда. Получил от коллеги очередные 20 страниц перевода языка, читаем: https://gitlab.com/budden/jaos/-/blob/b ... е-языка.md

Re: дневник Яос

Добавлено: 22.08.20 17:22
БудДен
Сегодня хватило сил только на массированное уничтожение кода, не участвующего в сборке. Стёр остатки приложения оберон, старый компилятор и поддержку ARM, к-рую я никогда не проверял. ARM - не российский процессор, поэтому ну его нафиг.

Re: дневник Яос

Добавлено: 23.08.20 23:30
БудДен
Научился переводить встроенные типы. Вот таблица перевода.

Код: Выделить всё

CHAR литера8
RANGE отрезок_целых
INTEGER системно_зависимое_целое
LONGINTEGER длинное_системно_зависимое_целое
INTEGERSET INTEGERSET

SIGNED8 цел8 
SIGNED16 цел16 
SIGNED32 цел32 
SIGNED64 цел64 

UNSIGNED8 бцел8 
UNSIGNED16 бцел16 
UNSIGNED32 бцел32 
UNSIGNED64 бцел64 

FLOAT32 вещ32
FLOAT64 вещ64

COMPLEX32 комплексное32 
COMPLEX64 комплексное64 

REAL машинно_зависимое_вещ 
COMPLEX машинно_зависимое_комплексное 
BOOLEAN булево
SET байт_размером_с_адрес
ANY динамически_типизированный_укль
OBJECT существо

SET8 байт 
SET16 байт16 
SET32 байт32 
SET64 байт64 
https://gitlab.com/budden/jaos/-/commit ... 7df32d9a60

А также переименовал "ряд" в "массив" и "объект" в "существо".

Re: дневник Яос

Добавлено: 23.08.20 23:34
БудДен
Перевод встроенных типов - весьма черновой. Вероятно, я слишком рано стал использовать русские ключевые слова в боевых исходниках - приходится теперь писать на меняющемся языке. Эта проблема пока не решена и автоматического перевода из старой в новую версию языка нету. Но это нужно было для подъёма морального духа. Теперь дух приподнялся, можно и выкинуть.

Re: дневник Яос

Добавлено: 28.08.20 15:14
БудДен
Последние дни вяло копаюсь с движком перевода - после работы сил почти не остаётся.

Re: дневник Яос

Добавлено: 29.08.20 00:36
БудДен
Очередные 20 страниц https://gitlab.com/budden/jaos/-/commit ... fb61629763

Re: дневник Яос

Добавлено: 29.08.20 00:37
БудДен
Удалось немного продвинуться - теперь некоторые типы переводятся. Хотя всё это какое-то блуждание в потёмках... Структура дерева разбора несколько непонятна и вся целиком в голове никак не помещается.

Re: дневник Яос

Добавлено: 29.08.20 11:44
БудДен
И последние 6 страниц: https://gitlab.com/budden/jaos/-/commit ... 380067bc80

Re: дневник Яос

Добавлено: 30.08.20 15:11
БудДен
Заблудился в лесу деревьев разбора. Начал рисовать схему на бумажке, но и в ней запутался. Очевидно, назрела доработка модуля отладочной печати...

Re: дневник Яос

Добавлено: 03.09.20 01:22
БудДен
Уже и в отладочной печати почти запутался, но вроде выпутываюсь. Завтра посмотрим...

Re: дневник Яос

Добавлено: 04.09.20 23:37
БудДен
Отладочную печать осилил, теперь можно задавать способ печати любых записей, а нужно это для удобной печати синтаксических деревьев - без этого я в них разобраться не могу.

Записал видео с описанием проделанной за 2 месяца работы:

https://youtu.be/CkDxtdxPx5g

Re: дневник Яос

Добавлено: 06.09.20 01:39
БудДен
Вернулся к движку перевода. С помощью отладочной печати быстро исправил ошибку, которую до этого не мог осилить. Теперь буду думать, надо ли выделить перевод в отдельный шаг обработки, или и так сойдёт.

Re: дневник Яос

Добавлено: 07.09.20 13:40
БудДен
На выходных выделил перевод в отдельный шаг обработки дерева разбора и он вроде бы работает. Теперь хочу попробовать провязать перевод прямо к входным лексемам. Это рискованно и может не получиться, но если получится - будет очень классно и не придётся переделывать всю печать дерева в виде исходника.

Re: дневник Яос

Добавлено: 09.09.20 23:35
БудДен
Собрал систему компилятором Лис, который мало отличается от компилятора Fox, но всё же.
Система запускается и компилятор Лис в ней опять же работает. Дальше пока не смотрел.
Если всё будет ок, заменю компилятор Fox на компилятор Лис и продолжу копать перевод.

До успеха с переводом пока непонятное расстояние.

Re: дневник Яос

Добавлено: 13.09.20 01:26
БудДен
Сделал тестовый режим для того, чтобы проверять, не упущен ли где-то перевод. Он действует дуболомно: если перевод в таблицах не нашёлся, то переводит "тилорей", см. https://www.linux.org.ru/forum/talks/14525807

Можно поржать:

Код: Выделить всё

    (* simple case can be utilized when endString does not contain first character, which is the case for our string convention *)
    проц ЦонсумеСтрингУнтил(конст ендСтринг: ряд из литера8; усеЦонтрол: булево);
    перем есцапеПос: цел32; ецш: литера8; и: цел32; стартПоситион: Стреамс.Поситион;
    конст
      Цонтрол = '\';
      Делимитер = '"';

        проц Аппенд(цш :литера8);
        тело
          если цш = 370 то
            ЕррорС("Unexpected end of text in string"); еррор := правда;
          иначе
            стрингЮритер.Цшар(цш)
          кн;
        кн Аппенд;

    тело
      (* traverse *)
      есцапеПос := 0; ецш := ендСтринг[0]; стартПоситион := поситион.старт;
      ГетНехтЦшарацтер;
      цикл_до
        если цш = ецш то
          ИНЦ(есцапеПос); ецш := ендСтринг[есцапеПос];
          ГетНехтЦшарацтер;
        аесли усеЦонтрол и (цш = Цонтрол) то
          ГетНехтЦшарацтер;
          если (цш = Цонтрол) или (цш = Делимитер) то
            Аппенд(цш)
          аесли цш = 'n' то
            Аппенд(ЦР); Аппенд(ЛФ);
          аесли цш = 't' то
            Аппенд(ТАБ)
          иначе
            ЕррорС("Unknown control sequence")
          кн;
          ГетНехтЦшарацтер
        аесли есцапеПос = 0 то (* frequent case *)
          Аппенд(цш); ГетНехтЦшарацтер;
        иначе
          (* account for "forgotten" characters *)
          цикл_для и := 0 до есцапеПос-1 делай
            Аппенд(ендСтринг[и]);
          кн;
          (* restart *)
          ецш := ендСтринг[0]; есцапеПос := 0;
        кн;
      кн_цикла_до_если (цш = ЕОТ) или (ецш = 370) или еррор;
      если цш = ЕОТ то поситион.старт := стартПоситион; ЕррорС("Unexpected end of text in string") кн;
    кн ЦонсумеСтрингУнтил;
https://gitlab.com/budden/jaos/-/commit ... a691097b05

А в целом уже пора подумать о том, как же переводить. Вероятно, нужно сначала читать файл, генерировать
заготовку переводов (т.е. писать, какие в нём в принципе имена подлежат переводу). Затем пытаться
их перевести из какого-то пополняемого словаря. Допустим, i можно всегда переводить как "ии", или вообще не переводить:
просто "и" занято под ключевое слово., логическое "и", а j - как "j". "Error" можно всегда переводить как "Ошибка" и т.п.

Такой простой словарь наверняка покроет большую долю случаев.
И уже то, что он не осилит, то надо вручную переводить.

Re: дневник Яос

Добавлено: 14.09.20 23:51
БудДен
Потихоньку продвигаюсь в переводе атрибутов (UNTRACED и т.п). Один перевёл. Но зато на одном модуле теперь стала компиляция падать, причём вроде место было про другое.

Поскольку меня угораздило сделать одно изменение, которое утащили из ЯОС в A2, и с ним возникли проблемы у них, мне теперь придётся и на это время тратить. Однако разработчики A2 хорошо помогают, придётся поработать на них. Вероятно, где-то неделю потрачу (календарную).

Re: дневник Яос

Добавлено: 18.09.20 16:09
БудДен
Ещё немного продвинулся с движком перевода.

Re: дневник Яос

Добавлено: 21.09.20 00:11
БудДен
Вроде переводятся флаги (такие, как ACTIVE и т.п.).

https://gitlab.com/budden/jaos/-/commit ... d63ea4a745

Пока не вижу, что ещё не поддерживается движком перевода из конструкций языка. К сожалению, на этом движок перевода ещё далеко не окончен. Нужно, во-первых, обрабатывать блоки препроцессора. Это довольно муторно (и вообще не вполне понятно, как). Во-вторых, тестировать. В-третьих, генерировать заготовку для словаря на этапе разбора из существующего синт. дерева. В-четвёртых, сделать контекстно-независимый словарь по умолчанию, чтобы существовало разумное умолчание для общеупотребимых однозначных слов, таких, как Module. Вероятно, такие слова можно сразу переводить и внутри комментариев и строковых литералов.

Re: дневник Яос

Добавлено: 21.09.20 23:58
БудДен
Кое-что ещё по мелочи поправил, теперь оказывается, что никто не научил лексер и парсер понимать русские переводы флагов. Что ж, это задача простая. Менее приятно, что с русскими ключевыми словами ошибки синтаксиса опять стали мазать мимо цели. А я уже забыл, как это было сделано. Но ничего, это мы исправим.

Re: дневник Яос

Добавлено: 26.09.20 01:46
БудДен
Вроде сделал флаги, поменял опции компилятора. Вскрылось, что странно ведёт себя ORD для перечислений, нужно исправлять.

Также напрашивается, что при нажатии буква-пробел происходил бы переход в режим ввода русских букв.

Re: дневник Яос

Добавлено: 26.09.20 19:02
Павиа
БудДен писал(а):
26.09.20 01:46
Вроде сделал флаги, поменял опции компилятора. Вскрылось, что странно ведёт себя ORD для перечислений, нужно исправлять.

Также напрашивается, что при нажатии буква-пробел происходил бы переход в режим ввода русских букв.
ord она для счетных типов, а не для множеств.

Re: дневник Яос

Добавлено: 26.09.20 21:16
БудДен
Перечисление - это и есть счётный тип, ENUM. Во:

https://gitlab.com/budden/jaos/-/blob/и ... речисление

Там просто баг в компиляторе.

Re: дневник Яос

Добавлено: 28.09.20 00:29
БудДен
Ох, нелёгкая это работа, из болота тащить бегемота... По ходу дела в языке обнаружилось порядка 20 различных флагов-модификаторов, из серии тех, что в Си были бы cdecl, extern и проч. Т.е. язык совсем не такой уж простой. Среди них есть и вкусняшки для системного программирования, и просто нечто, чего я не понимаю.

Но их все нужно как-то обработать для русификации, и я два раза пошёл по неверному пути. Сейчас оно снова скомпилировалось, если я третий раз не ошибся с выбором пути, то с большинством флагом должно быть покончено.

Остались ещё не локализованными встроенные функции, но вроде движок для этого есть.

Re: дневник Яос

Добавлено: 02.10.20 21:57
БудДен
Вроде заработал (снова) перевод флагов. Встроенные функции не начинал, но решил заняться сценарием перевода всех исходников. Тут тоже работы немало. Пока получается так, что перевод нельзя сделать помодульно, а нужно переводить сразу целиком. Это не слишком хорошо. От этого можно избавиться, усложнив реализацию динамической двухъязычности. Тогда переводить станет проще, но пользоваться полупереведёнными исходниками - сложнее. Пока надеюсь без этого обойтись.

Re: дневник Яос

Добавлено: 06.10.20 21:18
БудДен
Процесс перевода всех исходников по структуре - такой же, как сборка всех платформ. Поэтому копаюсь в ЦИ (CI), которое есть на официальном сайте A2 и которое даёт данные для вот этой страницы http://builds.cas.inf.ethz.ch/

Кое-что удалось сделать, но до полного успеха пока далеко. Под полным успехом понимаю способность сгенерировать такую же страницу (или хотя бы вывести такие же данные в любой форме) для ЯОС.

Заодно задумался о возврате ARM.

Re: дневник Яос

Добавлено: 07.10.20 23:30
БудДен
ARM вернул в репозиторий, он плюс-минус собирается. Вопрос - как тестировать.

Re: дневник Яос

Добавлено: 11.10.20 03:04
БудДен
Заказал для тестирования плату, на которой А2 вроде бы несложно запускается, а также списался с людьми, которые это делали.
Немного покопался в системе сборки. В A2 есть автосборка скриптом и автотесты. Нужно всё это задействовать и починить для ЯОС.