# Re: Разделение Хабра
Difrex (station13, 7) → Difrex – 15:08:36 2014-11-05
И еще такой вопрос:
Тянуть статьи из песочницы или нет? Сейчас они пропускаются.
Difrex (station13, 7) → Difrex – 15:08:36 2014-11-05
И еще такой вопрос:
Тянуть статьи из песочницы или нет? Сейчас они пропускаются.
# Re: Разделение Хабра
vit01 (mira, 1) → Difrex – 10:45:18 2014-11-05
Ура, товарищи! Я уже загейтовал.
vit01 (mira, 1) → Difrex – 10:45:18 2014-11-05
Ура, товарищи! Я уже загейтовал.
# Re: Разделение Хабра
Difrex (station13, 7) → vit01 – 15:04:36 2014-11-05
>жаль, что у нас тянутся все хабы, а не только те, которые нужны
Сейчас тянется только hub/linux/
Говорите, на какие подписаться :)
Difrex (station13, 7) → vit01 – 15:04:36 2014-11-05
>жаль, что у нас тянутся все хабы, а не только те, которые нужны
Сейчас тянется только hub/linux/
Говорите, на какие подписаться :)
# пустота
vit01 (mira, 1) → spline – 11:47:05 2014-11-05
Мой фетчер ругается на invalid message: Qbp11Juz6v0TAexm3sdq в эхе ii.14, которое идёт с тебя. Оно пустое.
vit01 (mira, 1) → spline – 11:47:05 2014-11-05
Мой фетчер ругается на invalid message: Qbp11Juz6v0TAexm3sdq в эхе ii.14, которое идёт с тебя. Оно пустое.
# Re: Разделение Хабра
vit01 (mira, 1) → Difrex – 11:40:04 2014-11-05
> Можете в один пост баги написать, я все поправлю? :)
1. Много пустых мест и отступов в содержимом
2. Отображается не вся статья, а только начало
3. Вместо нормальной читаемой разметки html-теги
4. Неплохо бы сохранять ссылки на картинки, чтобы посмотреть можно было
vit01 (mira, 1) → Difrex – 11:40:04 2014-11-05
> Можете в один пост баги написать, я все поправлю? :)
1. Много пустых мест и отступов в содержимом
2. Отображается не вся статья, а только начало
3. Вместо нормальной читаемой разметки html-теги
4. Неплохо бы сохранять ссылки на картинки, чтобы посмотреть можно было
# Re: Разделение Хабра
vit01 (mira, 1) → Difrex – 12:59:46 2014-11-05
>Я просто заменяю > на '\n'
Лучше заменять на пробел, а то с \n читать совсем неудобно.
>Не вижу смысла тянуть всю статью. Она может быть не интересна совсем. А так, если захочется, то можно кликнуть на "читать дальше" и перейти на всю статью.
Логика понятна, жаль, что у нас тянутся все хабы, а не только те, которые нужны. Но просто удобнее не ходить по ссылкам постоянно, а читать всё в ii
>Куда сохранять? Линки же вроде остаются...
Теперь вижу :)
vit01 (mira, 1) → Difrex – 12:59:46 2014-11-05
>Я просто заменяю > на '\n'
Лучше заменять на пробел, а то с \n читать совсем неудобно.
>Не вижу смысла тянуть всю статью. Она может быть не интересна совсем. А так, если захочется, то можно кликнуть на "читать дальше" и перейти на всю статью.
Логика понятна, жаль, что у нас тянутся все хабы, а не только те, которые нужны. Но просто удобнее не ходить по ссылкам постоянно, а читать всё в ii
>Куда сохранять? Линки же вроде остаются...
Теперь вижу :)
# Mysql
vit01 (mira, 1) → All – 08:07:43 2014-11-04
Станция mira успешно мигрировала на базу данных Mysql! Фетчинг работает, RSS работает, постинг работает.
Последний багфикс ii-php от сегодняшнего дня в репозитории присутствует.
vit01 (mira, 1) → All – 08:07:43 2014-11-04
Станция mira успешно мигрировала на базу данных Mysql! Фетчинг работает, RSS работает, постинг работает.
Последний багфикс ii-php от сегодняшнего дня в репозитории присутствует.
# Re: Разделение Хабра
Difrex (station13, 7) → Difrex – 15:29:35 2014-11-05
Проба markdown. Там у них на хабре переодически прилетают всякие div, s и прочие html-теги. Надо придумать, как их правильно пропускать.
Кто там говорил про статью про парсилку хабры на хабре? =)
Difrex (station13, 7) → Difrex – 15:29:35 2014-11-05
Проба markdown. Там у них на хабре переодически прилетают всякие div, s и прочие html-теги. Надо придумать, как их правильно пропускать.
Кто там говорил про статью про парсилку хабры на хабре? =)
# PHP-нода && Re: начинаю что-то делать
vit01 (mira, 1) → vit01 – 16:01:19 2014-11-02
Работа над поддержкой mysql в php-ноде в полном разгаре! =)
Написал скрипт миграции с обычной базы на mysql, переворотил класс для работы с базой, поправил код ii-functions и ещё пары файлов для поддержки обеих баз + куча мелких фиксов. В настоящее время требуется внимательная ловля багов и оптимизация скорости скриптов.
Новая версия обещает быть вкусной и фичастой =) Следите за коммитами в ветке features репозитория!
vit01 (mira, 1) → vit01 – 16:01:19 2014-11-02
Работа над поддержкой mysql в php-ноде в полном разгаре! =)
Написал скрипт миграции с обычной базы на mysql, переворотил класс для работы с базой, поправил код ii-functions и ещё пары файлов для поддержки обеих баз + куча мелких фиксов. В настоящее время требуется внимательная ловля багов и оптимизация скорости скриптов.
Новая версия обещает быть вкусной и фичастой =) Следите за коммитами в ветке features репозитория!
# Re: Разделение Хабра
Difrex (station13, 7) → spline – 08:29:53 2014-10-24
Так, а как он должен работать, фетчер?
Difrex (station13, 7) → spline – 08:29:53 2014-10-24
Так, а как он должен работать, фетчер?
# Re: Путь развития ii
vit01 (mira, 1) → vit01 – 17:01:45 2014-11-03
В общем, пункт 6 реализован, утилита для поиска из пункта 3 сделана. Думаю теперь доделывать пункт 3, а также сделать кроме ii-reader.php ещё и ii-writer.php или вообще в один файл всё засунуть.
vit01 (mira, 1) → vit01 – 17:01:45 2014-11-03
В общем, пункт 6 реализован, утилита для поиска из пункта 3 сделана. Думаю теперь доделывать пункт 3, а также сделать кроме ii-reader.php ещё и ii-writer.php или вообще в один файл всё засунуть.
# Re: начинаю что-то делать
vit01 (mira, 1) → vit01 – 11:46:33 2014-10-26
Ещё кое-что пофиксил и добавил заглушку на mysql класс. Код становится более запутанным, к сожалению. Придётся разбивать ii-functions.php на отдельные файлы и, наверное, вводить кое-где ООП.
Кстати, ii-search-tool скоро будет готов.
vit01 (mira, 1) → vit01 – 11:46:33 2014-10-26
Ещё кое-что пофиксил и добавил заглушку на mysql класс. Код становится более запутанным, к сожалению. Придётся разбивать ii-functions.php на отдельные файлы и, наверное, вводить кое-где ООП.
Кстати, ii-search-tool скоро будет готов.
# ...
vit01 (mira, 1) → All – 15:58:53 2014-10-24
Снял с rss-фетча ii://stallman.polit.14 в связи с будущим появлением более интересных источников контента (хабр и.т.д.).
vit01 (mira, 1) → All – 15:58:53 2014-10-24
Снял с rss-фетча ii://stallman.polit.14 в связи с будущим появлением более интересных источников контента (хабр и.т.д.).
# Re: Разделение Хабра
spline (station13, 1) → Difrex – 10:57:26 2014-10-31
Версии python-html2text и lxml какие? Пока я нашёл неприятный баг со старой версией html2text.
spline (station13, 1) → Difrex – 10:57:26 2014-10-31
Версии python-html2text и lxml какие? Пока я нашёл неприятный баг со старой версией html2text.
# Re: Разделение Хабра
Difrex (station13, 7) → spline – 09:18:54 2014-10-24
Difrex (station13, 7) → spline – 09:18:54 2014-10-24
python habr2ii.py
Traceback (most recent call last):
File "habr2ii.py", line 40, in <module>
f.write (get_content (rss.entries[i].link).encode ("UTF-8"))
File "habr2ii.py", line 18, in get_content
text = h.handle (html.tostring (page.find_class ("content html_format")[0]))
IndexError: list index out of range
# Re: Вики
vit01 (mira, 1) → Difrex – 08:37:41 2014-10-23
Отключил
Можно свободно править и создавать страницы
vit01 (mira, 1) → Difrex – 08:37:41 2014-10-23
Отключил
Можно свободно править и создавать страницы
# Re: Разделение Хабра
Difrex (station13, 7) → spline – 07:11:15 2014-10-24
>Может, развернём там ноду для хабра?
Ага, я так и хотел сделать =)
Уже почти свой фетчер хабры написал :D
Difrex (station13, 7) → spline – 07:11:15 2014-10-24
>Может, развернём там ноду для хабра?
Ага, я так и хотел сделать =)
Уже почти свой фетчер хабры написал :D
# Re: начинаю что-то делать
vit01 (mira, 1) → vit01 – 16:24:43 2014-10-25
Ветка features php ноды: вынес в конфиг лимиты, немного подделал сохранение сообщений, добавил возможность логирования ошибок (см. конфиг). Тестов пока не проводил.
На очереди добавление работы с базой данных.
vit01 (mira, 1) → vit01 – 16:24:43 2014-10-25
Ветка features php ноды: вынес в конфиг лимиты, немного подделал сохранение сообщений, добавил возможность логирования ошибок (см. конфиг). Тестов пока не проводил.
На очереди добавление работы с базой данных.
# Re: Разделение Хабра
spline (station13, 1) → Difrex – 08:49:16 2014-10-24
>Так, а как он должен работать, фетчер?
Кладём в директорию tools/client-toss вот такой скрипт и создаём поддиректорию msgs/RSS-bot. В неё скриптом habr2ii.py буду ссыпаться сообщения для тоссинга.
>> Читать далее
spline (station13, 1) → Difrex – 08:49:16 2014-10-24
>Так, а как он должен работать, фетчер?
Кладём в директорию tools/client-toss вот такой скрипт и создаём поддиректорию msgs/RSS-bot. В неё скриптом habr2ii.py буду ссыпаться сообщения для тоссинга.
#!/bin/bash
#cd /srv/www/spline.rooker.ru/data/ii/tools/client-toss/
HISTORY=1 # Если установлено в 0, сообщения удаляются. Иначе переносятся в директорию histo
IIURL=http://127.0.0.1:62220/u/point
POINTS='../points.txt' # Путь к списку поинтов относительно данного скрипта
MKTOSS='../../mktoss.py' # Путь к тоссеру относительно директории поинта
ROOT_PWD=$(pwd)
>> Читать далее
# Re: Разделение Хабра
Difrex (station13, 7) → spline – 09:30:02 2014-10-24
У меня стоят эти пакеты =)
Difrex (station13, 7) → spline – 09:30:02 2014-10-24
У меня стоят эти пакеты =)
# Поддержка баз в ноде
vit01 (mira, 1) → All – 16:42:31 2014-11-03
Я таки доделал поддержку Mysql в php ноде! Теперь нода поддерживает как стандартный формат хранения данных, так и её. Переключение между типами баз идёт всего лишь через пару строчек в конфиге! Индекс для удобства в базу не выносится, а остаётся в каталоге /echo. Для миграции со стандартной базы на Mysql (или просто для переноса сообщений в таблицу) надо после правки конфига всего лишь запустить скрипт mysql-migrate.php.
Пока что всё это находится в ветке features, завтра будет переезд моей ноды и тестирование в боевых условиях =) А когда новая нода достигнет полной стабильности, я отправлю изменения в master.
vit01 (mira, 1) → All – 16:42:31 2014-11-03
Я таки доделал поддержку Mysql в php ноде! Теперь нода поддерживает как стандартный формат хранения данных, так и её. Переключение между типами баз идёт всего лишь через пару строчек в конфиге! Индекс для удобства в базу не выносится, а остаётся в каталоге /echo. Для миграции со стандартной базы на Mysql (или просто для переноса сообщений в таблицу) надо после правки конфига всего лишь запустить скрипт mysql-migrate.php.
Пока что всё это находится в ветке features, завтра будет переезд моей ноды и тестирование в боевых условиях =) А когда новая нода достигнет полной стабильности, я отправлю изменения в master.
# Re: Разделение Хабра
spline (station13, 1) → Difrex – 09:25:16 2014-10-24
Ему нужны две дополнительные либы: feedparser и html2text. Причём второе требует соответствующий пакет в системе (это и послужило препятствием внедрению у меня на ноде).
spline (station13, 1) → Difrex – 09:25:16 2014-10-24
Ему нужны две дополнительные либы: feedparser и html2text. Причём второе требует соответствующий пакет в системе (это и послужило препятствием внедрению у меня на ноде).