# Re: Реализация IDEC протокола на Гошечке
Difrex (mira, 14) → vit01 – 07:29:39 2017-02-10
Я просто решил переписать свой убогий и тормозной фетчер с перла. А реализацию протокола тут по-любому делать надо =)
Кстати, немного статисти из эластика:
Документы
====
"docs" : {
"count" : 79614,
"deleted" : 0
},
"store" : {
"size_in_bytes" : 147104264,
"throttle_time_in_millis" : 0
},
====
Самое старое сообщение в индексе:
====
curl http://127.0.0.1:9200/idec/_search?pretty -XPOST -d '{"fields" : ["_id", "author", "to", "echo", "subg", "message", "date"],"sort": [ { "date": { "order": "acs" }}, { "_score": { "order": "asc" }}],"size":1}'
{
"took" : 11,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"failed" : 0
},
"hits" : {
"total" : 79614,
"max_score" : null,
"hits" : [ {
"_index" : "idec",
"_type" : "post",
"_id" : "HuE2FzPk5A6ANa4vHtlA",
"_score" : 1.0,
"fields" : {
"message" : [ "\n(я тоже ненастоящий сварщик)\n\nДа, спасибо, я про zfill думал, а как-то про подобное не догадался, исправлено.\n\nЧто касается хранилилища:\n\nу меня до сих пор основная цель - это африканские дети с компьютерами 1-2 гб hdd, с openbsd или haiku, где дорог каждый килобайт и каждый inode.\n\nПоэтому для клиентов планируется просто сделать один большой файл, в который просто дописывать сжатое содержимое сообщения. И отдельно - индекс, где указаны начальное и конечное смещение в файле.\n\nА для больших и крупных клиентов - всякие разные крутейшие распределённые базы данных. А сейчас мне хочется как можно более простую реализацию сделать." ],
"to" : [ "All" ],
"author" : [ "51t" ],
"subg" : [ "про хэш и реализацию" ],
"date" : [ "1394282165" ],
"echo" : [ "to.lor.2014" ]
},
"sort" : [ "1394282165", 1.0 ]
} ]
}
====
Самое новое сообщение в индексе
====
curl http://127.0.0.1:9200/idec/_search?pretty -XPOST -d '{"fields" : ["_id", "author", "to", "echo", "subg", "message", "date"],"sort": [ { "date": { "order": "desc" }}, { "_score": { "order": "desc" }}],"size":1}'
{
"took" : 11,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"failed" : 0
},
"hits" : {
"total" : 79614,
"max_score" : null,
"hits" : [ {
"_index" : "idec",
"_type" : "post",
"_id" : "e3w8k49i3BcDvNS0MsLw",
"_score" : 1.0,
"fields" : {
"message" : [ "\n Американская актриса Джуди Гарленд, сыгравшая Дороти в фильме «Волшебник страны Оз» 1939 года, подвергалась сексуальным домогательствам со стороны актеров-карликов во время съемок ленты. Об этом говорится в книге бывшего мужа артистки Сида Луфта «Джуди и я: моя жизнь с Джуди Гарленд». \nСсылка: https://lenta.ru/news/2017/02/10/wonderland/"; ],
"to" : [ "All" ],
"author" : [ "Новостной_робот" ],
"subg" : [ "СМИ узнали о домогательствах карликов-жевунов к звезде «Волшебника страны Оз»" ],
"date" : [ "1486710015" ],
"echo" : [ "lenta.rss" ]
},
"sort" : [ "1486710015", 1.0 ]
} ]
}
}
Difrex (mira, 14) → vit01 – 07:29:39 2017-02-10
Я просто решил переписать свой убогий и тормозной фетчер с перла. А реализацию протокола тут по-любому делать надо =)
Кстати, немного статисти из эластика:
Документы
====
"docs" : {
"count" : 79614,
"deleted" : 0
},
"store" : {
"size_in_bytes" : 147104264,
"throttle_time_in_millis" : 0
},
====
Самое старое сообщение в индексе:
====
curl http://127.0.0.1:9200/idec/_search?pretty -XPOST -d '{"fields" : ["_id", "author", "to", "echo", "subg", "message", "date"],"sort": [ { "date": { "order": "acs" }}, { "_score": { "order": "asc" }}],"size":1}'
{
"took" : 11,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"failed" : 0
},
"hits" : {
"total" : 79614,
"max_score" : null,
"hits" : [ {
"_index" : "idec",
"_type" : "post",
"_id" : "HuE2FzPk5A6ANa4vHtlA",
"_score" : 1.0,
"fields" : {
"message" : [ "\n(я тоже ненастоящий сварщик)\n\nДа, спасибо, я про zfill думал, а как-то про подобное не догадался, исправлено.\n\nЧто касается хранилилища:\n\nу меня до сих пор основная цель - это африканские дети с компьютерами 1-2 гб hdd, с openbsd или haiku, где дорог каждый килобайт и каждый inode.\n\nПоэтому для клиентов планируется просто сделать один большой файл, в который просто дописывать сжатое содержимое сообщения. И отдельно - индекс, где указаны начальное и конечное смещение в файле.\n\nА для больших и крупных клиентов - всякие разные крутейшие распределённые базы данных. А сейчас мне хочется как можно более простую реализацию сделать." ],
"to" : [ "All" ],
"author" : [ "51t" ],
"subg" : [ "про хэш и реализацию" ],
"date" : [ "1394282165" ],
"echo" : [ "to.lor.2014" ]
},
"sort" : [ "1394282165", 1.0 ]
} ]
}
====
Самое новое сообщение в индексе
====
curl http://127.0.0.1:9200/idec/_search?pretty -XPOST -d '{"fields" : ["_id", "author", "to", "echo", "subg", "message", "date"],"sort": [ { "date": { "order": "desc" }}, { "_score": { "order": "desc" }}],"size":1}'
{
"took" : 11,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"failed" : 0
},
"hits" : {
"total" : 79614,
"max_score" : null,
"hits" : [ {
"_index" : "idec",
"_type" : "post",
"_id" : "e3w8k49i3BcDvNS0MsLw",
"_score" : 1.0,
"fields" : {
"message" : [ "\n Американская актриса Джуди Гарленд, сыгравшая Дороти в фильме «Волшебник страны Оз» 1939 года, подвергалась сексуальным домогательствам со стороны актеров-карликов во время съемок ленты. Об этом говорится в книге бывшего мужа артистки Сида Луфта «Джуди и я: моя жизнь с Джуди Гарленд». \nСсылка: https://lenta.ru/news/2017/02/10/wonderland/"; ],
"to" : [ "All" ],
"author" : [ "Новостной_робот" ],
"subg" : [ "СМИ узнали о домогательствах карликов-жевунов к звезде «Волшебника страны Оз»" ],
"date" : [ "1486710015" ],
"echo" : [ "lenta.rss" ]
},
"sort" : [ "1486710015", 1.0 ]
} ]
}
}
====