# Re: В поисках идеального фетчера
Andrew Lobanov (tavern,1) → vit01 – 17:21:58 2016-07-07
vit01> Видимо, с самой первой, mira station. От изменения подписок ошибка не уходит. Скинул конфиг на email
Ошибку исправил. Забыл проверку на пустые строки сделать. И ещё дебаг опцию надо отключить. Лежит так же. Коммитить не буду пока. потестирую немного сперва.
Andrew Lobanov (tavern,1) → vit01 – 17:21:58 2016-07-07
vit01> Видимо, с самой первой, mira station. От изменения подписок ошибка не уходит. Скинул конфиг на email
Ошибку исправил. Забыл проверку на пустые строки сделать. И ещё дебаг опцию надо отключить. Лежит так же. Коммитить не буду пока. потестирую немного сперва.
# Re: It's alive!
Andrew Lobanov (tavern,1) → vit01 – 15:19:46 2016-07-09
>> Через некоторое время были срачи по поводу нового цитирования.
gadfly>> Этого вообще понять не могу.
> Это вообще глупая и неинтересная история, которую вспоминать лишний раз жалко. Тут Андрей больше рассказать сможет (потому что это с его клиента началось), но лучше зря на больное место не наступать.
Андрей просто подумал, что было бы неплохо в цитатах помечать кого цитируют, так как не всегда можно легко и просто определить кто что сказал в процессе беседы. Как оказалось, это моё желание является неуважением к пользователям и идеологически неверно, усложняет технологию и вообще за такое мне положен пожизненный эцих с гвоздями.
Я ещё в 2014-м понял, что я средоточение мирового зла =)
Andrew Lobanov (tavern,1) → vit01 – 15:19:46 2016-07-09
>> Через некоторое время были срачи по поводу нового цитирования.
gadfly>> Этого вообще понять не могу.
> Это вообще глупая и неинтересная история, которую вспоминать лишний раз жалко. Тут Андрей больше рассказать сможет (потому что это с его клиента началось), но лучше зря на больное место не наступать.
Андрей просто подумал, что было бы неплохо в цитатах помечать кого цитируют, так как не всегда можно легко и просто определить кто что сказал в процессе беседы. Как оказалось, это моё желание является неуважением к пользователям и идеологически неверно, усложняет технологию и вообще за такое мне положен пожизненный эцих с гвоздями.
Я ещё в 2014-м понял, что я средоточение мирового зла =)
# Re: It's alive!
vit01 (mira, 1) → gadfly – 14:01:52 2016-07-09
> Драма была и не одна :) Читать эхи ii://pipe.2032 и ii://ii.14
gadfly> Много букв :/ Можно краткое изложение для троешников?
Из того, что помню, была драма, из-за которой мы решили поменять название. Через некоторое время были срачи по поводу нового цитирования. Ну а самый последний из неприятных случаев здесь: http://ii-net.tk/ii/ii-web.php?echo=pipe.2032&page=95
Ровно два месяца живём мирно и без происшествий.
Вообще, не советую забивать этим голову, т.к. мы ведь не для того здесь сидим, чтобы гадости читать, верно?
vit01 (mira, 1) → gadfly – 14:01:52 2016-07-09
> Драма была и не одна :) Читать эхи ii://pipe.2032 и ii://ii.14
gadfly> Много букв :/ Можно краткое изложение для троешников?
Из того, что помню, была драма, из-за которой мы решили поменять название. Через некоторое время были срачи по поводу нового цитирования. Ну а самый последний из неприятных случаев здесь: http://ii-net.tk/ii/ii-web.php?echo=pipe.2032&page=95
Ровно два месяца живём мирно и без происшествий.
Вообще, не советую забивать этим голову, т.к. мы ведь не для того здесь сидим, чтобы гадости читать, верно?
# Re: В поисках идеального фетчера
vit01 (mira, 1) → Andrew Lobanov – 16:15:26 2016-07-07
AL> Ошибка странная. С какой нодой возникает?
Видимо, с самой первой, mira station. От изменения подписок ошибка не уходит. Скинул конфиг на email
vit01 (mira, 1) → Andrew Lobanov – 16:15:26 2016-07-07
AL> Ошибка странная. С какой нодой возникает?
Видимо, с самой первой, mira station. От изменения подписок ошибка не уходит. Скинул конфиг на email
# Re: It's alive!
gadfly (mira, 7) → vit01 – 13:41:12 2016-07-09
> Драма была и не одна :) Читать эхи ii://pipe.2032 и ii://ii.14
Много букв :/ Можно краткое изложение для троешников?
gadfly (mira, 7) → vit01 – 13:41:12 2016-07-09
> Драма была и не одна :) Читать эхи ii://pipe.2032 и ii://ii.14
Много букв :/ Можно краткое изложение для троешников?
# Re: В поисках идеального фетчера
vit01 (mira, 1) → Andrew Lobanov – 15:42:33 2016-07-07
AL> На пробу можно взять мою версию (непричёсана и как всегда с дублирующим кодом пока) тут http://spline-online.tk/stuff/fetcher.py можно просто подложить её цезию и она будет работать.
И она работать пока отказывается.
https://ii-net.tk/ii/files/I7D9Pr9GzoFkojC1mSix.png
vit01 (mira, 1) → Andrew Lobanov – 15:42:33 2016-07-07
AL> На пробу можно взять мою версию (непричёсана и как всегда с дублирующим кодом пока) тут http://spline-online.tk/stuff/fetcher.py можно просто подложить её цезию и она будет работать.
И она работать пока отказывается.
https://ii-net.tk/ii/files/I7D9Pr9GzoFkojC1mSix.png
# Re: It's alive!
vit01 (mira, 1) → gadfly – 14:54:34 2016-07-08
gadfly> ОНО ШЕВЕЛИТСЯ
И не просто шевелится, а вполне себе ходит :)
С возвращением, привет.
// Заглядывал на сайты с доками?
vit01 (mira, 1) → gadfly – 14:54:34 2016-07-08
gadfly> ОНО ШЕВЕЛИТСЯ
И не просто шевелится, а вполне себе ходит :)
С возвращением, привет.
// Заглядывал на сайты с доками?
# Re: It's alive!
vit01 (mira, 1) → gadfly – 15:01:57 2016-07-09
> Из того, что помню, была драма, из-за которой мы решили поменять название.
gadfly> Опять "вы изговнякали моё ii"? Форкнулись и разбежались. Изначально разные цели и идеология.
Так и произошло по факту. После смены названия мы переписали документацию с нуля и обновили сайт проекта. А самостоятельно живём уже очень давно.
Рома напридумывал за время твоего отсутствия 2-3 новых проекта, которые не были совместимы с ii, и ушёл сам. А мы уже потихоньку определились, чего хотим от форка и какие цели преследуем.
> Через некоторое время были срачи по поводу нового цитирования.
gadfly> Этого вообще понять не могу.
Это вообще глупая и неинтересная история, которую вспоминать лишний раз жалко. Тут Андрей больше рассказать сможет (потому что это с его клиента началось), но лучше зря на больное место не наступать.
gadfly> Я с точки зрения социологии и психологии интересуюсь :)
Тут уже, извини, не специалист :)
vit01 (mira, 1) → gadfly – 15:01:57 2016-07-09
> Из того, что помню, была драма, из-за которой мы решили поменять название.
gadfly> Опять "вы изговнякали моё ii"? Форкнулись и разбежались. Изначально разные цели и идеология.
Так и произошло по факту. После смены названия мы переписали документацию с нуля и обновили сайт проекта. А самостоятельно живём уже очень давно.
Рома напридумывал за время твоего отсутствия 2-3 новых проекта, которые не были совместимы с ii, и ушёл сам. А мы уже потихоньку определились, чего хотим от форка и какие цели преследуем.
> Через некоторое время были срачи по поводу нового цитирования.
gadfly> Этого вообще понять не могу.
Это вообще глупая и неинтересная история, которую вспоминать лишний раз жалко. Тут Андрей больше рассказать сможет (потому что это с его клиента началось), но лучше зря на больное место не наступать.
gadfly> Я с точки зрения социологии и психологии интересуюсь :)
Тут уже, извини, не специалист :)
# Re: В поисках идеального фетчера
Andrew Lobanov (tavern,1) → vit01 – 14:31:36 2016-07-07
vit01> Реализую-ка у себя тоже этот хак с /x/c, чтобы от прогресса не отставать.
На пробу можно взять мою версию (непричёсана и как всегда с дублирующим кодом пока) тут http://spline-online.tk/stuff/fetcher.py можно просто подложить её цезию и она будет работать.
В первый коннект с нодой забирает индекс со смещением 200 (можно изменить значение в конфиге или через параметр). Если подписаться на новую эху, то тоже берёт смещение 200. В остальных случаях юзает этот финт с x/c.
Надо причёсывать скорее и внедрять. Можно даже 0.3 цезия под шумок выпустить. Хотя теперь я думаю на тему а действительно ли надо от цезия отделять фетчер, если остальное всё равно монолитно.
Andrew Lobanov (tavern,1) → vit01 – 14:31:36 2016-07-07
vit01> Реализую-ка у себя тоже этот хак с /x/c, чтобы от прогресса не отставать.
На пробу можно взять мою версию (непричёсана и как всегда с дублирующим кодом пока) тут http://spline-online.tk/stuff/fetcher.py можно просто подложить её цезию и она будет работать.
В первый коннект с нодой забирает индекс со смещением 200 (можно изменить значение в конфиге или через параметр). Если подписаться на новую эху, то тоже берёт смещение 200. В остальных случаях юзает этот финт с x/c.
Надо причёсывать скорее и внедрять. Можно даже 0.3 цезия под шумок выпустить. Хотя теперь я думаю на тему а действительно ли надо от цезия отделять фетчер, если остальное всё равно монолитно.
# Re: It's alive!
vit01 (mira, 1) → Andrew Lobanov – 15:28:40 2016-07-09
AL> Я ещё в 2014-м понял, что я средоточение мирового зла =)
Не ты один; именно поэтому у нас теперь Секта Плохих Парней, а не просто ии-шечка ;)
vit01 (mira, 1) → Andrew Lobanov – 15:28:40 2016-07-09
AL> Я ещё в 2014-м понял, что я средоточение мирового зла =)
Не ты один; именно поэтому у нас теперь Секта Плохих Парней, а не просто ии-шечка ;)
# Re: В поисках идеального фетчера
Andrew Lobanov (tavern,1) → vit01 – 04:40:28 2016-07-08
vit01> И зря. Всегда включаю дебаг, это одна из самых нужных настроек.
Новый фетчер гораздо проще по своему устройству и его можно отлаживать и так. Могу вернуть, но сперва в цезии поправлю функцию вызова фетчера и впихну команды вызова в конфиг (две, так как для клонирования придётся отделять).
vit01> Ну а так новая версия работает, большое спасибо. Теперь ждать меньше буду с мобильным интернетом.
Меня тоже радует ага.
Andrew Lobanov (tavern,1) → vit01 – 04:40:28 2016-07-08
vit01> И зря. Всегда включаю дебаг, это одна из самых нужных настроек.
Новый фетчер гораздо проще по своему устройству и его можно отлаживать и так. Могу вернуть, но сперва в цезии поправлю функцию вызова фетчера и впихну команды вызова в конфиг (две, так как для клонирования придётся отделять).
vit01> Ну а так новая версия работает, большое спасибо. Теперь ждать меньше буду с мобильным интернетом.
Меня тоже радует ага.
# Re: В поисках идеального фетчера
Andrew Lobanov (tavern,1) → vit01 – 15:56:16 2016-07-07
vit01> И она работать пока отказывается.
vit01> https://ii-net.tk/ii/files/I7D9Pr9GzoFkojC1mSix.png
Что очень странно, так как я ей сейчас как раз и пользуюсь. Ошибка странная. С какой нодой возникает? Кинь caesium.cfg без auth.
Andrew Lobanov (tavern,1) → vit01 – 15:56:16 2016-07-07
vit01> И она работать пока отказывается.
vit01> https://ii-net.tk/ii/files/I7D9Pr9GzoFkojC1mSix.png
Что очень странно, так как я ей сейчас как раз и пользуюсь. Ошибка странная. С какой нодой возникает? Кинь caesium.cfg без auth.
# Re: It's alive!
vit01 (mira, 1) → gadfly – 15:53:16 2016-07-08
>> И не просто шевелится, а вполне себе ходит :)
gadfly> И много тут народу?
4 человека ровно. vit01 (т.е. я), spline (теперь он уже Andrew Lobanov), Difrex, иногда бывает поинт btimofeev.
По факту у нас сейчас серверов больше, чем людей.
Но зато мы достаточно развились технически и сдружились за это время, поэтому уходить отсюда и сворачивать проект никто не собирается. Слишком удачной на практике оказалась эта, казалось бы, мелочь, чтобы её бросить.
gadfly> Раз мой клиент завелся без изменений, значит протокол не сильно меняли. Но расширения протокола видел, да. Был-таки форк? Была драма?
Суть форка была только в смене названия и в добавлении расширений для экономии трафика. В остальном совместимость с ii гарантируется.
И да, мы полностью отказались от перекатывания эх. В некоторых уже по несколько тысяч сообщений, поэтому советую поставить современный клиент, а не сидеть на старом.
Драма была и не одна :) Читать эхи ii://pipe.2032 и ii://ii.14
vit01 (mira, 1) → gadfly – 15:53:16 2016-07-08
>> И не просто шевелится, а вполне себе ходит :)
gadfly> И много тут народу?
4 человека ровно. vit01 (т.е. я), spline (теперь он уже Andrew Lobanov), Difrex, иногда бывает поинт btimofeev.
По факту у нас сейчас серверов больше, чем людей.
Но зато мы достаточно развились технически и сдружились за это время, поэтому уходить отсюда и сворачивать проект никто не собирается. Слишком удачной на практике оказалась эта, казалось бы, мелочь, чтобы её бросить.
gadfly> Раз мой клиент завелся без изменений, значит протокол не сильно меняли. Но расширения протокола видел, да. Был-таки форк? Была драма?
Суть форка была только в смене названия и в добавлении расширений для экономии трафика. В остальном совместимость с ii гарантируется.
И да, мы полностью отказались от перекатывания эх. В некоторых уже по несколько тысяч сообщений, поэтому советую поставить современный клиент, а не сидеть на старом.
Драма была и не одна :) Читать эхи ii://pipe.2032 и ii://ii.14
# Re: It's alive!
gadfly (mira, 7) → vit01 – 14:37:37 2016-07-09
> Из того, что помню, была драма, из-за которой мы решили поменять название.
Опять "вы изговнякали моё ii"? Форкнулись и разбежались. Изначально разные цели и идеология.
> Через некоторое время были срачи по поводу нового цитирования.
Этого вообще понять не могу.
> Ну а самый последний из неприятных случаев здесь: http://ii-net.tk/ii/ii-web.php?echo=pipe.2032&page=95
Тема такая, сложная и многогранная. Трудно не наступить кому-нибудь на мозоль.
> Вообще, не советую забивать этим голову, т.к. мы ведь не для того здесь сидим, чтобы гадости читать, верно?
Я с точки зрения социологии и психологии интересуюсь :)
>> Читать далее
gadfly (mira, 7) → vit01 – 14:37:37 2016-07-09
> Из того, что помню, была драма, из-за которой мы решили поменять название.
Опять "вы изговнякали моё ii"? Форкнулись и разбежались. Изначально разные цели и идеология.
> Через некоторое время были срачи по поводу нового цитирования.
Этого вообще понять не могу.
> Ну а самый последний из неприятных случаев здесь: http://ii-net.tk/ii/ii-web.php?echo=pipe.2032&page=95
Тема такая, сложная и многогранная. Трудно не наступить кому-нибудь на мозоль.
> Вообще, не советую забивать этим голову, т.к. мы ведь не для того здесь сидим, чтобы гадости читать, верно?
Я с точки зрения социологии и психологии интересуюсь :)
>> Читать далее
# Re: CutieFeed
vit01 (mira, 1) → vit01 – 11:04:02 2016-06-30
vit01> Через GUI клонирование только костылём.
Ну как костылём. Просто создать в настройках такую же станцию, но отключив при этом галочками новомодные расширения.
vit01 (mira, 1) → vit01 – 11:04:02 2016-06-30
vit01> Через GUI клонирование только костылём.
Ну как костылём. Просто создать в настройках такую же станцию, но отключив при этом галочками новомодные расширения.
# Re: В поисках идеального фетчера
vit01 (mira, 1) → Andrew Lobanov – 11:39:03 2016-07-07
vit01>> Дальше нода1 гейтует ноду2, забирая у неё недостающие 10 сообщений (мы же не забыли, что сервера оптимизации не используют, да?). Клиент фетчит ноду1, и недостающие 10 сообщений также к нему приходят. Всё разрешилось само собой.
AL> Я хочу оптимизацию на серверах применять %) Отсюда и наступление на грабли.
Тогда ничего против не имею. Надо как-то лучше друг друга понимать учиться :)
Реализую-ка у себя тоже этот хак с /x/c, чтобы от прогресса не отставать.
vit01 (mira, 1) → Andrew Lobanov – 11:39:03 2016-07-07
vit01>> Дальше нода1 гейтует ноду2, забирая у неё недостающие 10 сообщений (мы же не забыли, что сервера оптимизации не используют, да?). Клиент фетчит ноду1, и недостающие 10 сообщений также к нему приходят. Всё разрешилось само собой.
AL> Я хочу оптимизацию на серверах применять %) Отсюда и наступление на грабли.
Тогда ничего против не имею. Надо как-то лучше друг друга понимать учиться :)
Реализую-ка у себя тоже этот хак с /x/c, чтобы от прогресса не отставать.
# Re: В поисках идеального фетчера
vit01 (mira, 1) → Andrew Lobanov – 09:08:48 2016-07-07
AL> Определение смещения для расширенной схемы u/e мы можем хранить как константу (или передавать как константу в качестве параметра), а можем вычислять из результата работы схемы x/c.
AL> На стороне клиента ещё возможны костыли вида каждому аплинку по базе (хотя мне эта затея и не нравится), но на ноде мы уже так делать не можем.
Для начала не надо мешать мух с котлетами, то есть сервера с клиентами.
1. Вычисление смещения из результата /x/c - это порочная практика. Её никто никогда не предлагал и не реализовывал.
2. На сервере /x/c не нужен. Более того, ни один серверный фетчер его не поддерживает. Эта схема необходима только для того, чтобы клиенту не фетчить creepy.14, mlp.15 и прочие питоны, в которые пишут не больше раза в неделю. Самая частая работа /x/c - это выдать на экран надпись "новых сообщений нет".
3. Расширенный /u/e используется и там, и там. Различие лишь в том, что оптимальное значение на клиенте - это 50-100, а на сервере - немного больше. Mira station фетчит каждого аплинка со смещением 200. Уже как очень долгое время.
AL> Пока лучше достаточно большой минимальной длины запрашиваемого индекса я не придумал. Но это всё равно достаточно мороченный вариант. Может действительно имеет смысл просто забирать индекс фиксированной длины и не заморачиваться на лютую оптимизацию трафика (что такое +- несколько десятков килобайт в наши дни?).
Так и надо. Для гейтоскриптов вообще можно и не использовать кучу оптимизаций.
>> Читать далее
vit01 (mira, 1) → Andrew Lobanov – 09:08:48 2016-07-07
AL> Определение смещения для расширенной схемы u/e мы можем хранить как константу (или передавать как константу в качестве параметра), а можем вычислять из результата работы схемы x/c.
AL> На стороне клиента ещё возможны костыли вида каждому аплинку по базе (хотя мне эта затея и не нравится), но на ноде мы уже так делать не можем.
Для начала не надо мешать мух с котлетами, то есть сервера с клиентами.
1. Вычисление смещения из результата /x/c - это порочная практика. Её никто никогда не предлагал и не реализовывал.
2. На сервере /x/c не нужен. Более того, ни один серверный фетчер его не поддерживает. Эта схема необходима только для того, чтобы клиенту не фетчить creepy.14, mlp.15 и прочие питоны, в которые пишут не больше раза в неделю. Самая частая работа /x/c - это выдать на экран надпись "новых сообщений нет".
3. Расширенный /u/e используется и там, и там. Различие лишь в том, что оптимальное значение на клиенте - это 50-100, а на сервере - немного больше. Mira station фетчит каждого аплинка со смещением 200. Уже как очень долгое время.
AL> Пока лучше достаточно большой минимальной длины запрашиваемого индекса я не придумал. Но это всё равно достаточно мороченный вариант. Может действительно имеет смысл просто забирать индекс фиксированной длины и не заморачиваться на лютую оптимизацию трафика (что такое +- несколько десятков килобайт в наши дни?).
Так и надо. Для гейтоскриптов вообще можно и не использовать кучу оптимизаций.
>> Читать далее
# Re: В поисках идеального фетчера
vit01 (mira, 1) → vit01 – 12:11:15 2016-07-07
vit01> Реализую-ка у себя тоже этот хак с /x/c, чтобы от прогресса не отставать.
Это оказалось значительно проще, чем себе представлял. Коммитить пока не буду. Лучше недельку потестирую сначала.
vit01 (mira, 1) → vit01 – 12:11:15 2016-07-07
vit01> Реализую-ка у себя тоже этот хак с /x/c, чтобы от прогресса не отставать.
Это оказалось значительно проще, чем себе представлял. Коммитить пока не буду. Лучше недельку потестирую сначала.
# Re: В поисках идеального фетчера
Andrew Lobanov (tavern,1) → vit01 – 09:31:23 2016-07-07
vit01> Тогда пиши сам, какой считаешь идеальным и юниксвейным :)
Мой девиз "Велосипедостроительство и отвага" =)
Andrew Lobanov (tavern,1) → vit01 – 09:31:23 2016-07-07
vit01> Тогда пиши сам, какой считаешь идеальным и юниксвейным :)
Мой девиз "Велосипедостроительство и отвага" =)
# Re: CutieFeed
vit01 (mira, 1) → vit01 – 09:27:55 2016-07-06
В сабже починил ответ на сообщения из окна "стены текста"
В настройках станций добавил пункт "Настроить всё автоматически". Когда пользователь нажмёт эту кнопку, клиент заботливо проверит поддержку всех схем через /x/features и сам расставит все галочки для расширений в зависимости от их поддержки.
А если /x/features сообщает о наличии list.txt, то ещё и загрузит список эх с ноды (аж минус один клик!).
Если нет поддержки расширенного /u/e, то поставит принудительную обрезку индекса на 50 сообщений (как в Цезии).
Также кнопка автонастройки проверяет одну типичную опечатку для новичков (забывают слэш в конце адреса ноды) и исправляет её.
Надо бы потом обновить сборки для винды и дебиана, но пока лень.
vit01 (mira, 1) → vit01 – 09:27:55 2016-07-06
В сабже починил ответ на сообщения из окна "стены текста"
В настройках станций добавил пункт "Настроить всё автоматически". Когда пользователь нажмёт эту кнопку, клиент заботливо проверит поддержку всех схем через /x/features и сам расставит все галочки для расширений в зависимости от их поддержки.
А если /x/features сообщает о наличии list.txt, то ещё и загрузит список эх с ноды (аж минус один клик!).
Если нет поддержки расширенного /u/e, то поставит принудительную обрезку индекса на 50 сообщений (как в Цезии).
Также кнопка автонастройки проверяет одну типичную опечатку для новичков (забывают слэш в конце адреса ноды) и исправляет её.
Надо бы потом обновить сборки для винды и дебиана, но пока лень.
# Re: В поисках идеального фетчера
Andrew Lobanov (tavern,1) → vit01 – 10:27:00 2016-07-07
vit01> Без обид, но у тебя плохая память :)
Я знаю. Очень плохая =)
vit01> В моём фетчере эта проблема уже решена. Передаёшь параметр pervasive_ue=True, и ни одного сообщения потеряно не будет.
vit01> Алгоритм:
vit01> Запрашиваем последние -N. Если все из них новые, то запрашиваем -2N:N и так далее, подсовывая в начало.
У меня на данный момент так же точно происходит (по крайней мере при построении индекса). Фигня случается, когда одна и та же эха забирается с разных узлов. В таком случае этот подход приводит к потере сообщений из-за разного порядка сообщений на разных нодах.
vit01> А насчёт максимального приращения новых сообщений идея нравится. Но большой погоды она вряд ли сделает. В любом случае, рад буду посмотреть на рабочее решение.
Самое главное, что она решит вышеозвученную проблему. Но пока я её не реализовал.
Andrew Lobanov (tavern,1) → vit01 – 10:27:00 2016-07-07
vit01> Без обид, но у тебя плохая память :)
Я знаю. Очень плохая =)
vit01> В моём фетчере эта проблема уже решена. Передаёшь параметр pervasive_ue=True, и ни одного сообщения потеряно не будет.
vit01> Алгоритм:
vit01> Запрашиваем последние -N. Если все из них новые, то запрашиваем -2N:N и так далее, подсовывая в начало.
У меня на данный момент так же точно происходит (по крайней мере при построении индекса). Фигня случается, когда одна и та же эха забирается с разных узлов. В таком случае этот подход приводит к потере сообщений из-за разного порядка сообщений на разных нодах.
vit01> А насчёт максимального приращения новых сообщений идея нравится. Но большой погоды она вряд ли сделает. В любом случае, рад буду посмотреть на рабочее решение.
Самое главное, что она решит вышеозвученную проблему. Но пока я её не реализовал.
# Re: CutieFeed
vit01 (mira, 1) → vit01 – 16:53:29 2016-06-29
Добавил в фетчер (и в GUI-конфигуратор) сабжа возможность принудительной обрезки удалённого индекса. Такую же функцию реализует Цезий, работая со старыми станциями на 0.3, которые не поддерживают расширенный /u/e
Теперь можно с уверенностью сказать, что этот фетчер умеет всё подряд. Ну, по крайней мере, все фишки с фетчем, которые мы когда-либо придумывали.
vit01 (mira, 1) → vit01 – 16:53:29 2016-06-29
Добавил в фетчер (и в GUI-конфигуратор) сабжа возможность принудительной обрезки удалённого индекса. Такую же функцию реализует Цезий, работая со старыми станциями на 0.3, которые не поддерживают расширенный /u/e
Теперь можно с уверенностью сказать, что этот фетчер умеет всё подряд. Ну, по крайней мере, все фишки с фетчем, которые мы когда-либо придумывали.
# В поисках идеального фетчера
Andrew Lobanov (tavern,1) → All – 07:13:41 2016-07-07
Сабж задумался. Определение смещения для расширенной схемы u/e мы можем хранить как константу (или передавать как константу в качестве параметра), а можем вычислять из результата работы схемы x/c. И всё это просто замечательно пока мы работаем с одной единственной нодой. Но если ноды две и более, то порядок сообщений в индексе у них скорее всего разный и мы можем потерять сообщения при фетчинге одной и той же эхи с разных узлов.
На стороне клиента ещё возможны костыли вида каждому аплинку по базе (хотя мне эта затея и не нравится), но на ноде мы уже так делать не можем.
В процессе раздумий на эту тему меня посещали разные идеи, но все они отметались в силу своей несостоятельности или замороченности. Пока лучше достаточно большой минимальной длины запрашиваемого индекса я не придумал. Но это всё равно достаточно мороченный вариант. Может действительно имеет смысл просто забирать индекс фиксированной длины и не заморачиваться на лютую оптимизацию трафика (что такое +- несколько десятков килобайт в наши дни?).
Что думаете на этот счёт?
2vit01: Да я могу взять твой навороченный фетчер, но мне он показался достаточно сложным (не в духе нашей сетки, так сказать). Хочется максимальной простоты а-ля изначальный ii, но с шахматами и гимназистками.
Andrew Lobanov (tavern,1) → All – 07:13:41 2016-07-07
Сабж задумался. Определение смещения для расширенной схемы u/e мы можем хранить как константу (или передавать как константу в качестве параметра), а можем вычислять из результата работы схемы x/c. И всё это просто замечательно пока мы работаем с одной единственной нодой. Но если ноды две и более, то порядок сообщений в индексе у них скорее всего разный и мы можем потерять сообщения при фетчинге одной и той же эхи с разных узлов.
На стороне клиента ещё возможны костыли вида каждому аплинку по базе (хотя мне эта затея и не нравится), но на ноде мы уже так делать не можем.
В процессе раздумий на эту тему меня посещали разные идеи, но все они отметались в силу своей несостоятельности или замороченности. Пока лучше достаточно большой минимальной длины запрашиваемого индекса я не придумал. Но это всё равно достаточно мороченный вариант. Может действительно имеет смысл просто забирать индекс фиксированной длины и не заморачиваться на лютую оптимизацию трафика (что такое +- несколько десятков килобайт в наши дни?).
Что думаете на этот счёт?
2vit01: Да я могу взять твой навороченный фетчер, но мне он показался достаточно сложным (не в духе нашей сетки, так сказать). Хочется максимальной простоты а-ля изначальный ii, но с шахматами и гимназистками.
# Re: В поисках идеального фетчера
Andrew Lobanov (tavern,1) → vit01 – 11:27:48 2016-07-07
vit01> Дальше нода1 гейтует ноду2, забирая у неё недостающие 10 сообщений (мы же не забыли, что сервера оптимизации не используют, да?). Клиент фетчит ноду1, и недостающие 10 сообщений также к нему приходят. Всё разрешилось само собой.
Я хочу оптимизацию на серверах применять %) Отсюда и наступление на грабли.
Andrew Lobanov (tavern,1) → vit01 – 11:27:48 2016-07-07
vit01> Дальше нода1 гейтует ноду2, забирая у неё недостающие 10 сообщений (мы же не забыли, что сервера оптимизации не используют, да?). Клиент фетчит ноду1, и недостающие 10 сообщений также к нему приходят. Всё разрешилось само собой.
Я хочу оптимизацию на серверах применять %) Отсюда и наступление на грабли.