Ассоциация ЭБНИТ    ИРБИС-корпорация    Вики-Ирбис    Online/CHM справка Ирбис    FTP-сервер
Электронные архивы :  ИРБИС Irbis
Cистема структурированного хранения электронных документов, обеспечивающая надежность хранения, конфиденциальность и разграничение прав доступа, отслеживание истории использования документа, быстрый и удобный поиск. Источник: Wikipedia 
Страницы: <<Первая...4243444546474849505152...Последняя>>
Страница: 47 из 55
Re: DSpace (установка, настройка)
Пользователь: Grievous (IP-адрес скрыт)
Дата: 16, September, 2017 08:59

В связи с тем, что atmire старый плагин потокового просмотра приказал долго жить, мы наконец-то решились на апгрейд с 1.8 до актуальной 6.2
Чистый сервер поднимается на ура. Пилю локализацию интерфейса, русские буковки в поиске, переключение интерфейса. Всё работает идеально.

Как только пытаюсь перенести рабочую базу со старого сервера - то всё ломается. Не ищутся документы и вываливает ошибку при попытке просмотра по названиям и т. п.

Цитата:
индексация вываливается с ошибкой
dspace@elibrary2017:~$ sudo /opt/dspace/bin/dspace index-discovery
Exception: Expected mime type application/octet-stream but got text/html. <!doctype html><html lang="en"><head><title>HTTP Status 500 – Internal Server Error</title><style type="text/css">h1 {font-family:Tahoma,Arial,sans-serif;color:white;background-color:#525D76;font-size:22px;} h2 {font-family:Tahoma,Arial,sans-serif;color:white;background-color:#525D76;font-size:16px;} h3 {font-family:Tahoma,Arial,sans-serif;color:white;background-color:#525D76;font-size:14px;} body {font-family:Tahoma,Arial,sans-serif;color:black;background-color:white;} b {font-family:Tahoma,Arial,sans-serif;color:white;background-color:#525D76;} p {font-family:Tahoma,Arial,sans-serif;background:white;color:black;font-size:12px;} a {color:black;} a.name {color:black;} .line {height:1px;background-color:#525D76;border:none;}</style></head><body><h1>HTTP Status 500 – Internal Server Error</h1><hr class="line" /><p><b>Type</b> Status Report</p><p><b>Message</b> {msg=SolrCore 'search' is not available due to init failure: Error opening new searcher,trace=org.apache.solr.common.SolrException: SolrCore 'search' is not available due to init failure: Error opening new searcher

Как переносить базу правильно?

На старом сервере делаю дамп
sudo su postgres
pg_dump -h localhost -U dspace -b dspace -f /tmp/dump.pg

На новом:
sudo su postgres
sudo /opt/dspace/bin/dspace database clean
psql -d dspace -f /tmp/dump.pg
exit
sudo /opt/dspace/bin/dspace database migrate

Что ещё требуется сделать?

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 16, September, 2017 12:57

1. переносили так в Белгороде с 1.6 до 5.х, все прошло успешно с точностью до шага с update-sequences [wiki.duraspace.org] (10.b) но я не уверен что для 6.х это необходимо.
2. у Вас проблема с SOLR а не с базой - [wiki.duraspace.org] (2.a)

Ну и я ссылки на пятерку даю, по шестерке аналогичные статьи в вики есть.

Ну и это, если с /webapps/solr и с правами на /dspace/solr и /dspace/var всё ok, то стоит всё же посмотреть что в логах после обновления базы, применить обновление последовательностей и поиграть с ключами -f -b и пр. у index-discovery

Да, Вы же в курсе что database browse в 6.x просто нет. Совсем.



Редактировано 1 раз. Последний раз 16.09.2017 13:01 пользователем IdeaFix.

Re: DSpace (установка, настройка)
Пользователь: Grievous (IP-адрес скрыт)
Дата: 16, September, 2017 14:09

Спасибо за наводку. Но ведь старые Solr-индексы не переносятся вместе с базой? Мне бы их полностью обнулить и пересоздать.

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 16, September, 2017 17:29

А статистика? Неужели не жалко?:) Кстати, можно и /dspace/log перетащить и сконвертировать.

Ну а по базе ничего кроме как попробовать update-sequences и читать логи в процессе обновления базы я посоветовать не могу. Кстати, а dspace database clean точно достаточно? Я бы постгрёй базу грохнул...

Re: DSpace (установка, настройка)
Пользователь: Grievous (IP-адрес скрыт)
Дата: 18, September, 2017 11:01

Статистику совершенно не жалко.
Если она переносится вместе с базой, то как её сбросить?

Re: DSpace (установка, настройка)
Пользователь: Поликарпов Михаил (IP-адрес скрыт)
Дата: 18, September, 2017 12:09

Добрый день!

Dspace 5.6.
Возникает проблемы при добавлении в коллекцию файлов с именами на русском языке. Если имя файла на английском, то все нормально. Если на русском то файл добавляется, но при попытке открыть его появляется сообщение об ошибке: "Page cannot be found".

В чем может быть проблема?

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 18, September, 2017 13:19

Grievous
Не с базой, но с логами и/или solr

Поликарпов Михаил
1. Пинайте коннектор томкэта тут - URIEncoding="UTF-8"
2. Пинайте тот веб срвер, который перед томкэтом

Re: DSpace (установка, настройка)
Пользователь: Grievous (IP-адрес скрыт)
Дата: 18, September, 2017 14:03

IdeaFix

Виноват. Проблема оказалась именно в правах доступа. Почему-то после восстановления базы слетели права на папки solr/search/data/
Он просто не мог ничего туда писать и сваливался в ошибку. После восстановления прав всё завелось с пол пинка.
Попробую понять, почему так получилось.

На старом сервере ничего ценного в статистике у нас нет, поэтому задача её переноса не стоит. Всё что надо наш админ собирает через Google Analitics.

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 18, September, 2017 14:27

Вот в этом-то и проблема. Аналитика не считает клики напрямую на ПДФ. Аналитика+вебмастер считают ТОЛЬКО переходы из поиска гугла.

Поэтому, все обращения к сервису, которые не вызывают исполнение скрипта, проходят мимо кассы. А это и curl, и харвестеры (по OAI вообще ничего без анализа логов не получить) и др. и пр.

Поэтому у меня сейчас в sawmill лежит наверное гигов 200 логов и картинка по ним коррелирует с аналитикой (но не с метрикой), но порядки цифер совершенно другие.



Редактировано 1 раз. Последний раз 18.09.2017 14:27 пользователем IdeaFix.

Re: DSpace (установка, настройка)
Пользователь: Grievous (IP-адрес скрыт)
Дата: 18, September, 2017 14:46

Мы запретили прямые ссылки на PDF. Используется альтернативный рендер. Админ внедрил модифицированную библиотеку PDF.JS с вырезанными кнопками скачивания и печати. Думаю и аналитику он туда тоже вставил.
Теперь документы читаются только через браузер. Т. к. по условиям договоров с авторами, мы не имеем права распространять сами исходные документы. Можно только читать постранично через сайт, что и было реализовано в старом плагине от Atmire. PDF.js это костыль, там при сильном желании тоже можно вытянуть чистый PDF, но хоть какая-то защита теперь есть.

[elibrary.unatlib.ru]

Re: DSpace (установка, настройка)
Пользователь: woodyfon (IP-адрес скрыт)
Дата: 18, September, 2017 17:12

Структура разделов/подразделов/коллекций наследует структуру университета.
Например:
Факультет 1 -> Кафедра 1.1
Факультет 1 -> Кафедра 1.2

Факультет 2 -> Кафедра 2.1

После приказа изменилась структура Университета. Соответственно должна измениться и структура в репозитарии.
После изменений Кафедра 1.2 относится к Факультету 2.

Как выполнить перенос коллекции включая материалы из одного подраздела в другой?

Команда community-filiator работает только для разделов/подразделов.

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 18, September, 2017 18:11

woodyfon
1. Пока не поздно, перейти с структурной иерархии на документную. Т.е. строить иерархию по типу документа, а подразделения совать в фасет.
2. Никто не мешает создать новые коллекции а дальше посредством экспорта, изменения и импорта метаданных изменить документам коллекцию.

Grievous
Открываем исходный код и видим что не очень то вы и запретили:
<meta content="http://elibrary.unatlib.org.ru/bitstream/123456789/34250/1/udm_book_3103.pdf" name="citation_pdf_url" />
Т.е. гугель как брал пдф (т.к. именно в гугловом файле соответствий это прпоисано), так и берет.

[wiki.duraspace.org] вот тут в этом файлике в пдф-цитейшон-урл можно заменить битстрим на хэндл, мы когда-то так делали, но только на время серьезной перетряски фонда. Особых штрафов в академии за это не было.

Re: DSpace (установка, настройка)
Пользователь: woodyfon (IP-адрес скрыт)
Дата: 18, September, 2017 21:57

Цитата:
1. Пока не поздно, перейти с структурной иерархии на документную. Т.е. строить иерархию по типу документа, а подразделения совать в фасет.
Подразделения хранятся в метаданных. В любой момент можно создать фасеты.
Цитата:
2. Никто не мешает создать новые коллекции а дальше посредством экспорта, изменения и импорта метаданных изменить документам коллекцию.
Наверное, самый простой путь.
Но как быть со старыми ссылками?

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 18, September, 2017 22:20

> Но как быть со старыми ссылками?

Старые ссылки на документы сохранятся, "потеряются" только ссылки на коллекции. Но их не много и всегда можно сделать 302-ые редиректы.

А можно конечно залезть по локоть в базу... но я не умею :)

Re: DSpace (установка, настройка)
Пользователь: woodyfon (IP-адрес скрыт)
Дата: 18, September, 2017 22:39

Цитата:
Старые ссылки на документы сохранятся, "потеряются" только ссылки на коллекции.
Именно это и имею в виду.
Цитата:
Но их не много и всегда можно сделать 302-ые редиректы.
не могли бы привести пример.

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 18, September, 2017 22:48


Re: DSpace (установка, настройка)
Пользователь: woodyfon (IP-адрес скрыт)
Дата: 19, September, 2017 01:30

Запустил фильтр. В процессе тестирования надо было перезапустить кота и очистить кеш браузера eye rolling smiley. Два часа коту под хвостgrinning smiley.

Re: DSpace (установка, настройка)
Пользователь: Grievous (IP-адрес скрыт)
Дата: 19, September, 2017 08:45

IdeaFix написал(а):
-------------------------------------------------------
> Открываем исходный код и видим что не очень то вы
> и запретили:

Прямые ссылки заблокированы на уровне nginx. Сам pdf в итоге конечно скачивается в браузер, но не сохраняется в кэше. Я так и сказал, что «защита» примитивная и этого достаточно на данный момент.

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 19, September, 2017 12:49

От гугла такая защита не работает. Вернее, гуглу она логически мешает. Нужно поправить конфиг имхо.

Re: DSpace (установка, настройка)
Пользователь: woodyfon (IP-адрес скрыт)
Дата: 19, September, 2017 15:19

Цитата:
2. Никто не мешает создать новые коллекции а дальше посредством экспорта, изменения и импорта метаданных изменить документам коллекцию.
Самый простой способ. Другим образом переместить коллекцию, включая материалы (не считая SQL-запросов к БД), нет. Dspace 5-ой версии не имеет таких инструментов ни в Admin UI, ни из консоли.
Недостатки:
- теряется SOLR-статистика
- требуется перенаправлять на коллекцию с новым handle
- теряется subscribe.

После перемещения коллекции необходимо полностью обновить импорт oai.

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 19, September, 2017 16:16

тут важно отметить что теряется статистика именно коллекции, но не документов в ней

Re: DSpace (установка, настройка)
Пользователь: Поликарпов Михаил (IP-адрес скрыт)
Дата: 20, September, 2017 14:42

Спасибо, все работает.

Не подскажете, где можно найти модуль защищенного просмотра документов для Dspace?

Re: DSpace (установка, настройка)
Пользователь: woodyfon (IP-адрес скрыт)
Дата: 21, September, 2017 00:21

Ребята, кто-то уже обновлялся до версии 6.1? Стоит 5.3 - надо бы обновиться до последней версии. Какие могут возникнуть траблы?
+
Последняя версия 6.2



Редактировано 1 раз. Последний раз 21.09.2017 00:34 пользователем woodyfon.

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 22, September, 2017 18:10

woodyfon
Бесплатных модулей защищенного просмотра на сколько я знаю нет. Модулей под JSPUI на сколько я знаю вообще нет.

По поводу обновления.... давайте уже на 5.7 :) А то битый OAI и полубитые single просмотровые индексы (не говоря уже о дырах) в 5.3 не доставляют.

Из особенностей 6.х - отказ от xpdf и почти отказ от imagemagic (зато pdfbox 2.x), отказ от db browse совсем. Больше солра (да, еще больше!) и больше реста.

Re: DSpace (установка, настройка)
Пользователь: woodyfon (IP-адрес скрыт)
Дата: 22, September, 2017 19:32

Цитата:
Из особенностей 6.х
Я бы еще назвал authority для авторов. Теперь browse идет не на фамилию автора, а на id. Если есть несколько форм имени, то меняя только id, можно добиться объединения их в одну кучку, в т. ч. форм имени на английском языке.

Re: DSpace (установка, настройка)
Пользователь: Поликарпов Михаил (IP-адрес скрыт)
Дата: 25, September, 2017 11:19

Цитата:
woodyfon Бесплатных модулей защищенного просмотра на сколько я знаю нет.
Я платный? Я читал где-то, что он есть.

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 25, September, 2017 18:43

Платные модули есть у атмиры, вон, коллеги из Перми ими пользовались, думаю, там можно реквестировать обмен опытом.

[wiki.duraspace.org]

[www.4science.it] - кажется халява, кажется под jspui, но не факт.
[www.atmire.com]

Re: DSpace (установка, настройка)
Пользователь: Поликарпов Михаил (IP-адрес скрыт)
Дата: 26, September, 2017 12:10

Цитата:
вон, коллеги из Перми
А кто это?

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 26, September, 2017 13:39

Поликарпов Михаил
Выше Grievous писал об опыте использования плагина, который видимо приказал долго жить. Но не исключено что лишь старая версия.

Re: DSpace (установка, настройка)
Пользователь: Grievous (IP-адрес скрыт)
Дата: 26, September, 2017 15:02

Да, у нас стоял плагин от atmire. Он был завязан на внешний сервис scribd.com и был заточен только под версию 1.8
В этом году scribd.com прикрыл своё API и плагин отвалился.

У atmire тем временем уже есть новая версия плагина, которая рендерит и хранит документы уже непосредственно на сервере dspace, работает исключительно на HTML5. И совместима с актуальным DSpace 6.

Изначальный смысл плагина не в защите, а в быстром просмотре любой страницы без необходимости предварительного скачивания всей книги.
Но разработчики по заявке могут убрать из интерфейса кнопки скачивания исходного PDF и печати.

Если цена в 6000 евро не пугает - обращайтесь к ним.
[www.atmire.com]
У нас пока таких денег нет



Редактировано 1 раз. Последний раз 26.09.2017 16:04 пользователем Grievous.

Страницы: <<Первая...4243444546474849505152...Последняя>>
Страница: 47 из 55


Извините, только зарегистрированные пользователи могут писать в этом форуме.
This forum powered by Phorum.