Вы здесьВопрос к линуксоидам
Опубликовано пн, 09/11/2009 - 00:30 пользователем larin
Как определить, берётся ли файл из кэша или с диска? Точнее, нужен список файлов, за, скажем, час, которые читались с диска. Те, которые брались из кэша - не интересуют.
|
Вход на сайтПоиск по блогам и форумамUser menuПоследние комментарии
macs1112 RE:Подайте бедному копеечку на книжку с литреса... 2 дня
Ldrozd RE:Сандра Ньюмен - Джулия [1984] 4 дня konst1 RE: Банда Рафаэля 4 дня Isais RE:Лоренс Даррелл - Горькие лимоны 6 дней Isais RE:B157704 Черепаха Киргала 6 дней Oleg V.Cat RE:Беженцы с Флибусты 6 дней sem14 RE:Литературная премия «Ясная Поляна» 1 неделя blahblahblah2024 RE:Сборник - Советская морская новелла. Том 1 1 неделя Ма-Рита RE: День рождения человечества 1 неделя Isais RE:Обновление FictionBook Editor 1 неделя Alex_61 RE:Windows 7 безопасна благодаря помощи NSA??? 2 недели Саша из Киева RE:Лимонные дольки 2 недели Trinki RE:Любительские переводы 2 недели nehug@cheaphub.net RE:Подробнее о правилах, если можно? 2 недели Isais RE:Семейственность в литературе 2 недели kopak RE:Небольшой тест. 2 недели nehug@cheaphub.net RE:Как тут читать и скачивать книги? 2 недели nehug@cheaphub.net RE:Домен и сертификаты 2 недели Впечатления о книгах
Barbud про Шопперт: Возвращение блудного Брехта [СИ] (Альтернативная история, Попаданцы, Самиздат, сетевая литература)
18 10 У Шопперта случился кризис жанра и он решил ̶о̶т̶к̶о̶п̶а̶т̶ь̶ ̶с̶т̶ю̶а̶р̶д̶е̶с̶с̶у̶ ... поднять Брехта. Оценка: неплохо
DGOBLEK про Андреев: ЧВК «Вагнер». Летопись: Донбасс. Сирия (Биографии и Мемуары, Военная документалистика)
17 10 Краткое содержание - Везде ...лей отхватывают от Игила в Сирии, от Азова в Украине, В собственной стране карлик всю верхушку в небе на небеса отправил, ну а остатки туареги в Африке недавно разгромили. Новое мясо набирают ……… Оценка: нечитаемо
Aleks_Sim про Андреев: ЧВК «Вагнер». Летопись: Донбасс. Сирия (Биографии и Мемуары, Военная документалистика)
17 10 DGOBLEK а про Бахмут, где вагнеровцы азовцев раздербанили ты что от скромности умалчиваешь... Оценка: отлично!
Oleg V.Cat про Мания: История атомной бомбы (История, Физика, Научпоп)
17 10 Неряшливо... «Это почти так же невероятно, как если бы швырнуть фанату на лист шелковой бумаги — и она рикошетом попала бы в тебя самого». Ну ладно, непосредственно за "фанату" ответственнен ocrщик, но Набатниковой ……… Оценка: хорошо
Ратослава про Конофальский: Божьим промыслом. Пожары и виселицы (Фэнтези, Историческая проза)
15 10 В целом, хорошо. Но не пора ли отпустить старого генерала на покой? Оценка: хорошо
Belomor.canal про Заграевский: Новые исследования памятников архитектуры Владимиро-Суздальского музея-заповедника (История, Искусство и Дизайн, Архитектура)
15 10 Книга написана кандидатом мастра спорта по боксу, обладателем коричневого пояса и бывшем председателем банка, не имевшим архитектурного образования - кончил МАДИ и занимался логистикой тары на ЭВМ(!) - но шустрым медийный ……… Оценка: хорошо
Belomor.canal про Анонимус: Каирский дебют. Записки из синей тетради [litres] (Исторический детектив)
14 10 Слишком короткие рассказики для нормального чтения, на любителя! Оценка: неплохо
tvv про Манцуров: Рагнарёк Онлайн. Трансмигратор ( Том 1 и 2 ) (Фанфик, ЛитРПГ, Самиздат, сетевая литература)
14 10 На АТ уже 9 томов, все бесплатно.
DGOBLEK про Микулов: Тропа длиною в жизнь [Книга не полностью] (Фэнтези, Научная фантастика)
14 10 Книга не полностью. Отсутствует в книге - Олег Микулов. Предисловие, стр. 5-6 М. Аникович. Комментарий археолога, стр. 507-526
Oleg V.Cat про Волков: Специалист по выживанию. Том II (Боевая фантастика, Самиздат, сетевая литература)
14 10 Скучно. Когда крыса с человеческим сознанием (первая книга) бегает по крысиным тропам - это, как минимум, забавно. Когда человек косплеит крысу в канализации - это интересно только как сексуальное извращение.
Oleg V.Cat про Волков: Специалист по выживанию (том I) (ЛитРПГ, Самиздат, сетевая литература)
14 10 Так себе. Полное отсутствие какой-либо оригинальности, но читается более-менее гладко. Как практически у любого автора "про там" - некоторые напряги с масштабом цен. Ну ладно, помещение мастерской в подвале в бойком месте ………
Oleg V.Cat про Росс: Наука Шерлока Холмса [методы знаменитого сыщика в расследовании преступлений прошлого и настоящего] [litres] (Юриспруденция, Научная литература: прочее)
14 10 Троечка. Очень "галопом по всему Лондону", несвязно. Много фактических ошибок по шерлокиане, о которые спотыкался и переводчик, в конце концов плюнувший на поиски цитат в переводах. Так что и непонятно, кто ответственен, скажем, ……… Оценка: неплохо |
Комментарии
Отв: Вопрос к линуксоидам
Может вам просто помочь с оптимизацией раздачи файлов?
А так просто на логи накатить любой анализатор логов который выдаст список самого популярного, а так с сервера с 5 винтами я выжимаю до 800 мегабит на 500-700 одновременных коннектов.
Отв: Вопрос к линуксоидам
5 винтов SAS или обычных SATA?
что-то у меня два сата тянут не больше ста, и то с трудом.
Может потому, что миллион мелких файлов.
Отв: Вопрос к линуксоидам
а last-access-time разве не поможет? ИМХО, если файл читался с диска - время обновится, если из кеша - останется прежним
Отв: Вопрос к линуксоидам
Кстати, а чей именно кеш имеется в виду ? У файловой системы - свой, у Apache|Squid - свои, и вот их-то cache hits вполне можно увидеть в соответствующих логах.
Отв: Вопрос к линуксоидам
Есть мнение, что здесь скорее nginx.
А он, по моим ощущениям (основанным на достаточно беглом знакомстве) документирован... несколько хуже Индейца.
Отв: Вопрос к линуксоидам
Только вот... Сбор такого рода статистики --- дело небыстрое и весьма ресурсоёмкое.
У меня же здесь к тов. Ларину немного другой вопрос: какая файловая система используется? Параметры файловой системы стандартные/умолчательные или она уже оптимизировалась под конкретную ситуацию (с учётом величины нагрузки --- необходимо).
Отв: Вопрос к линуксоидам
Для начала неплохо бы посмотреть какая именно софтина читает файлы. Если просто логически - там что кэш сопоставим с размером диска? Вряд ли, а значит в кэше файлов принципе мало.
Отв: Вопрос к линуксоидам
Боюсь что здесь дело в тонкой настройке нгинкса для отдачи файлов.
Юзаю файловую систему xfs, она куда адекватнее работает чем екст3 в некоторых моментах.
От сасов отказался, в силу того что на бесплатном софте могу поиметь большую производительности с сата дисков, да и объемы данных у меня внушительные, ну а так есть файлопомойка с музыкой там тоже куча мелких файлов.
Отв: Вопрос к линуксоидам
Радикально может решить вопрос io дискового только 10й райд. Лучше всего если это будет 6 рабочих дисков + спер диск.
В принципе файлохранилище может быть расположено в отдельном сервере и выделенным гигабит линком подключено в сервер раздающий контент.
Или на этом отдельном сервере живет акселерирующий прокси и объема дисков достаточно что бы закешировать все, а записи книг (на чтение и выкачку) сделаны максимально дружественными к кешированию.
--------------------
Пока писал пришел на ум вариант с SSD диском на который надо залинковать все файлы которые в топе или вообще все (если оно лезет :). На hd оставить только логи и базу, вообщем часто меняющуюся информацию. SSD имеет ноутбучный формат и влезет в корпус :).
Отв: Вопрос к линуксоидам
на опеннете указали на:
---8<-----
http://sourceware.org/systemtap/
в частности http://sourceware.org/systemtap/examples/io/iostats.stp
---8<-----
Отв: Вопрос к линуксоидам
Варианты замечательны своей радикальностью.
Не то чтобы они не приходили мне в голову.
Но как-то не готов я вбухивать десятки тысяч евро в железо.
Нет у Либрусека таких доходов, увы.
Пришлось решать проблему более бюджетными способами - добавил диск и памяти в соседний сервер и перенёс туда часть файлов.
Полегчало.