Как найти русскоязычные репозитории?

[БудДен]

Там то ли 3 миллиона, то ли 80 миллионов репозиториев.

[БудДен]

Проект разморожен. Ваши предложения по дальнейшим шагам?

[Сандро]

Лично я для собственного удобства сделал вот так:
Песочницы
Теперь у меня все мои поделки - под рукой... )))

[БудДен]

Не понял.

[Сандро]

Из уже имеющихся адресов нужно выбирать самые подходящие (а это уже придётся, скорее всего, делать вручную) и вносить эти адреса в мой шаблон ссылок, чтобы страница эта была всегда под рукой. Например, готовим три фрейм-странички:
1. Гитхаб,
2. Гитлаб,
3. Битбукет.
- Ну и расписываем в них "небитые и проверенные" ссылки... )))

[БудДен]

Нашёл 45 тысяч с русскоязычными записями в журнале изменений. Но выборка всего 3 миллиона, а всего репозиториев - почти 100 миллионов, из них должно быть порядка половины открытых. Т.е. должно быть хотя бы в 20 раз больше - порядка 900 тысяч репозиториев с русскоязычными записями в журнале.

https://gitlab.com/budden/repozitorii-x ... -kommitami

[Сандро]

Я не знаю, как работать с csv-файлами.
Беру <base href="https://gitlab.com/"> как "базовый", добавляю "довесок" из csv, к примеру chuprin-nikolay/workshop1,60
Получаю на выходе ... https://gitlab.com/chuprin-nikolay/workshop1,60 ...
И попадаю на страницу 404... (и так со всеми ссылками, выдернутыми из csv)

[БудДен]

Отдыхайте пока, я нарыл уже 350 тысяч, но пока не успел их выгрузить в файл. Вообще такие файлы открываются с помощью Excel или Libre Office, только надо правильно выбрать разделитель колонок (запятая).

Такая возможность есть только для github, что делать с остальными - у меня пока нет идей.

[БудДен]

https://gitlab.com/budden/repozitorii-x ... 349564.csv
- там покажется ссылка на скачивание файла. Это репозитории, как я понимаю, фактически с 2015 по 2017-й включительно,
в которых была хотя бы одна запись журнала изменений (commit message) с русскими буквами.

Теперь думаю, что следующий этап - это из них выбрать те, у которых README.md в кириллице. Можно получать 5000 README в час через API, итого это займёт 70 часов чистого времени, если есть только один аутентифицированный пользователь. У меня уже есть два, хотя не факт, что я буду париться. 70 часов - не так долго.

На самом-то деле, уже на этих двух этапах мы можем потерять много ценного. Но наша задача - найти проекты высокой культуры, а у них, наверное, и readme должен быть на русском.

[БудДен]

Переделал выборку, чтобы получать код репозитория, а не его "имя", которое иногда содержит какие-то странные вещи, например, может отсутствовать владелец. См. репозиторий.

Теперь нужно извлечь readme. Поглядываю на 1Скрипт. Вроде там (https://infostart.ru/public/699642/) есть библиотека restler. Есть добровольцы реализовать? Ещё, правда, нужно раскодировать base64. Вот есть такое:

https://www.forum.mista.ru/topic.php?id=716503
т.е. в каком-то 1С оно встроено. Можно вызывать для раскодировки внешнюю программу.

[БудДен]

В Linux есть раскодировка: https://forum.sys-adm.in/index.php?topic=5180.0

[Сандро]

Вот ещё:
Base64 кодирование и декодирование

[БудДен]

Диспозиция меняется. Видимо, будем скачивать все репозитории и искать кириллицу во всех файлах. Это займёт длительное время (до года). И придётся писать или где-то искать лексеры для всех типов файлов. Возможно, придётся для этого разморозить старый "Яр" на лиспе, поскольку в нём всё нужное для быстрого создания таких лексеров есть, и его производительность достаточно велика, чтобы это имело практический смысл.

[Лис [Вежливый]]

имело практический смысл.

было бы ещё неплохо, если бы ты ещё этот практический смысл разъяснил (в смысле - практический смысл всей затеи. Найти всех руссскоязычных девелоперов, сдать их в КГБ с последующим спамом и сманиванием в Россию?). ты хочешь собрать доказательную статистику, ну ок. другим это зачем?

[БудДен]

Изучить такое явление культуры, как русскоязычные идентификаторы. Явление существует. Но больше про него ничего неизвестно. В т.ч. связаться с этими людьми и пригласить их сюда. Рассказать им про яролит, яро-раскладку и пр. Напустить каких-нибудь учёных на эту выборку - пусть изучают.

[БудДен]

Диспозиция опять меняется - я нашёл pygments. Как ни уворачивайся, а всё равно приходится вляпаться в этот питон. Он позволяет выцеплять идентификаторы из текстов на многих языках программирования и раскрашивать их, например, вот так он может генерировать BBCode:

/// На входе дан div клавиатуры, нужно его привязать и показать то, что надо.
function ПодготовьЭтуКлавиатуруКРаботе(div) {
console.assert(div.hasAttribute("data-target"));
const id_of_textarea = div.getAttribute("data-target");
//div.innerHTML="<p>для ввода латиницы удерживай пробел <button id='рискноп_показать_раскладку' title='Показать раскладку'>?</button></p>";
const Выборка = $("textarea#"+id_of_textarea);
console.assert(Выборка.length === 1, "Не к чему привязать клавиатуру - нет text_area с id = '%s'", id_of_textarea);
УстановиОбработчикиКлавиатуры(Выборка);
}

У него есть и вариант, когда печатается список лексем вместе с их классами:

Код: Выделить всё

pygmentize -f testcase /y/bitbucket/iaroklava-js/klaviatura.js 

            (Token.Keyword.Reserved, u'const'),
            (Token.Text, u' '),
            (Token.Name.Other, u'\u0412\u044b\u0431\u043e\u0440\u043a\u0430'),
            (Token.Text, u' '),
            (Token.Operator, u'='),
            (Token.Literal.String.Double, u'"#\u0440\u0438\u0441\u043a\u043d\u043e\u043f"'),
            (Token.Comment.Single, u'// $(document).ready(function ($) {\n'),

Это уже почти то, что надо, остаётся лишь поменять код и искать лексемы нужного класса с кириллицей. Т.е. план такой - неспешно клонируем все 350000 репозиториев, фильтруем их этой какашкой (потому что она СТРАШНО медленная) и получаем список файлов с кириллицей.

[БудДен]

Случайно попалось - как поменьше скачивать с github.

https://www.linux.org.ru/forum/developm ... 3262737947

[БудДен]

Лис, ты был прав. Прошло два года, рукописный список надо было создать, он бы насколько-нибудь бы уже наполнился. Я завёл.

Думаю только, что надо завести под это отдельный аккаунт. Если у кого-то есть репозитории для добавления в список - там написано, как заявиться на добавление.

https://github.com/budden/proekty-na-russkom-jazyke

https://gitlab.com/budden/proekty-na-russkom-jazyke

[Лис [Вежливый]]

«он бы насколько-нибудь бы уже наполнился»

Это в том случае, если его рекламировать (по форумам проанонсировать, lor, opennet, rsdn и что там ещё бывает).

И идеи надо было предлагать подавать через пулл-руквесты, а не через багтрекер.

[БудДен]

Хотя бы было бы место для складывания находок. Возможно, мне попадалась одна или две.

[БудДен]

Просмотрел около 1500 репозиториев, в т.ч. вместе с Глебом NNN написал программку, которая скачивает репозитории и ищет там русский язык. За мои деньги написали, но спасибо в любом случае.

Нашёл пока вот что:

Код: Выделить всё

operation Растопка_котла() {
  relevant режим_растопки_котла = Режим_растопки_котла.accessible.filter [
    состояние == Состояние_режима.Активен
  ].any

  def duration() {
    return 1
  }

  def end() {
    вода.температура_обратной_воды = вода.температура_прямой_воды -
      (вода.расчетная_температура_прямой_воды - вода.расчетная_температура_обратной_воды)
    if (вода.температура_обратной_воды < температура_холодной_воды.next()) {
      вода.температура_обратной_воды = температура_холодной_воды.next()
    }

Эта программка была найдена глазами, поскольку написана на экзотическом языке моделирования. Программка ищет тексты на популярных языках, таких как PHP, Java, go и т.п, и она бы не заметила этот файл вообще, т.к. он не входит в список языков.

Офигеть! Задача стоит с 2018 года и пока я сам за неё не взялся, никто не взялся. Зато у каждого есть свой форум и по два языка программирования, по половине операционной системы на брата. У Лиса уже 2145 одних только тем на форуме. У Алексея - сообщество в телеге, тысячи сообщений там появляются в неделю. Вот какая активная жизнь бурлит в сообществе любителей русского языка! Но важно то, что все эти сообщения сами по себе на русском языке, это сулит нашему русскому языку блистательное будущее в ИТ, ведь мы, ИТ-шники, не перестаём его использовать, хотя бы ради того, чтобы пофлудить в чатиках.

[БудДен]

Новости ChatGPT:

Один из способов получить список открытых репозиториев - это использовать метод "Search repositories" (Поиск репозиториев) GitHub API. Вот пример запроса, который можно отправить для получения списка открытых репозиториев:

GET https://api.github.com/search/repositories?q=is:public

Также, учтите, что доступ к GitHub API требует аутентификации. Вы можете использовать токен доступа (access token) для аутентификации в запросах к API. Инструкции по созданию токена доступа можно найти в документации GitHub.

[Лис [Вежливый]]

> У Лиса уже 2145 одних только тем на форуме.

Так или иначе, практика показала, что если на моём форуме опубликовать какой-нибудь репозиторий, то о нём узнает опеннет, лор и что там ещё бывает. Это покрывает большое количество программистов и так, т.е. если бы они хотели, они бы нашлись. Дело не в поиске программистов, а в поиске мотивации (или денег). Некоторые предлагают внедрять геймификацию в обучение. Мне кажется, что мотивация работает не так просто, но можете считать Большое Лисоревнование (челлендж и вызов) объявленным (создание ядра ОС там где-то глубоко в середине, явно не в начале).

[БудДен]

Молодец, Лис! Главное - это придумать правильную стратегию, а уж кто будет её воплощать - найдётся. Ну или не найдётся. Но памятник нерукотворный уже установлен. Между тем за вчера, ночь и утро мы с компьютером обработали ещё 7 тыс. репозиториев. Находок мало, они пока тут будут накапливаться:

https://github.com/budden/proekty-na-ru ... поиска.txt

[Игнат99]

Вы тут симуляцией работы занимаетесь. Жаль что в России со специалистами так всё грустно.

[БудДен]

Чем писать такие простыни, взяли бы и нашли несколько репозиториев. Простыни любой ПТУ-шник может писать.

Запустил на ночь ещё 5000 репозиториев. Находок мало. Из интересного - вот что:


https://github.com/sw0rl0k/selfcontrolapp

Код: Выделить всё

        #region Код, автоматически созданный конструктором форм Windows

        /// <summary>
        /// Требуемый метод для поддержки конструктора — не изменяйте 
        /// содержимое этого метода с помощью редактора кода.
        /// </summary>
        private void InitializeComponent()
        {
            this.components = new System.ComponentModel.Container();
            System.ComponentModel.ComponentResourceManager resources = new System.ComponentModel.ComponentResourceManager(typeof(MainForm));
            this.menuStrip1 = new System.Windows.Forms.MenuStrip();
            this.файлToolStripMenuItem = new System.Windows.Forms.ToolStripMenuItem();
            this.tsmiExit = new System.Windows.Forms.ToolStripMenuItem();
            this.помощьToolStripMenuItem = new System.Windows.Forms.ToolStripMenuItem();
            this.помощьToolStripMenuItem1 = new System.Windows.Forms.ToolStripMenuItem();
            this.оПрограммеToolStripMenuItem = new System.Windows.Forms.ToolStripMenuItem();
            this.englishToolStripMenuItem = new System.Windows.Forms.ToolStripMenuItem();

Что мы здесь можем наблюдать? Чел стал создавать программу в визуальном дизайнере и по дури не выполнил догму о том, что русского языка в коде быть не должно: вбил в названия пунктов меню названия на русском. Соответственно, Микрософт ему и сгенерировал. Т.е. Микрософт вполне лояльно относится к программированию на любом национальном языке. Тут уместно вспомнить, что имена пользователей в Windows могут быть в кириллице (хотя граблей кое-где и подложили), а вот в импортозамещающих линуксах, каковых наберётся с дюжину - хренушки (на язык просилось другое слово).

Как там было у Пелевина:

Антирусский заговор , безусловно, существует – проблема только в том, что в нем участвует все взрослое население России.

[БудДен]

Кроме того, явно что-то не то с фильтрацией имён - в sql комментарии в виде

Код: Выделить всё

-- комментарий

становятся именами.

[Игнат99]

Вообщем более сложные модели языка нужны. Просто русский алфавит и слова устарели и не актуальны для мемоник от слова совсем.

[БудДен]

Не надо, пожалуйста, засорять эту тему.