БД по АЯ - II. Концепция Нейромансера

Неоднозначно это все, зыбко, как рисунок на прибрежном песке. Навалено всего в кучу. Не отработана концепция, а уже обсуждаются технические вопросы. Тот же Петухов... (я про его доклад)в одну кучу смешал, как и действительно концептуальные вопросы, так и совершенно несущественные. Впрочем, не буду критиковать и цепляться, потому что тут действительно все очень туманно и не поддается жесткой формализации...

Предлагаю следующую концепцию базы данных.

1. "Хламохранилище". Таблица, в которую суется все подряд сообщения от очевидцев. Храним:

- Оригинал сообщения (составленное в свободной форме, но с выполнением определенной рекоммендации).
- ФИО и координаты очевидца.
- Регион, в котором это явление наблюдалось.
- Время наблюдения.

Кто постит данные? ЛЮБОЙ ЖЕЛАЮЩИЙ! В результате имеем просто напросто кучу информации.

Запускаем соответствующий сервис и раскручиваем - пусть люди пишут. Пока будем думать, что делать дальше - будет накапливаться информация.

НО! Обязательно нужен флаг "кто постит".

- Аноним, не оставивший своего адреса.
- Зарегестрированный пользователь, оставивший свои координаты.
- Член организации, провевший опрос очевидцев

Таким образом мы сможем фильтровать по достоверности. Например, используя "коэффициент достоверности". Аноним - 1. Член организации - 20. Зарегестрированный - 10/количество "свидетельств" (думаю, тут понятно, почему делить).

2. Здесь начинается очень принципиальный момент - классификация аномальных явлений. Любой классификатор будет искажать информацию (типичный пример - "уфоком это культ" с точки зрения классификатора церкви). Поэтому СОХРАНЯЕМ ОРИГИНАЛ сообщения, но создаем СИСТЕМУ КЛАССИФИКАТОРОВ - для удобства фильтрации "хламохранилища".

То есть одно и то же сообщение рассматриваем, допустим, с точки зрения: a) классификатора Петухова б) классификатора Бутова-Линника в) классификатора Нейромансера г)... любой пользователь может создать собственный классификатор, как анализируя "хламохранилище" с нуля (то есть непосредственно тексты сообщений), так и наследуя элементы других классификаций (тое есть в плане классификаторов мы применяем объектно-ориентированную модель с множественным наследованием классов).

3. Взаимодействие между базами данных... кому вообще в голову пришла эта мысль?! Зачем вообще нужна распределенная база данных? Я вижу только одно - амбиции уфологических групп. "Это чисто наши сведения" и мы хотим "сами контролировать ситуацию" С человеческим фактором, конечно придется мириться. Но тут выход тоже элементарный - раздаем им движок для ведения как хламохранилища, так и для создания системы классификаторов. И предусматриваем систему импорта-экспорта данных посредством XML (парсим и суем в собственную БД).


Вот и все. Лично мне это представляется довольно гибким и удобным ИССЛЕДОВАТЕЛЬСКИМ ИНСТРУМЕНТОМ. Вот тебе куча данных. Вот тебе куча классификаторов. Наследуй и полиморфируй!

PS: наследование... полиморфизм... надо еще об инкапсуляции сказать. Говорю: классификаторы инкапсулировать не будем (это очевидно).

PPS: НА счет придут "органы" и все похерят. Если дать каждому желающему держать "базу целиком", то пускай приходят и херят . Кто сразу провел аналогию с сетью eDonkey, тот молодец

[Редактирование]

пункт 3 не понятно, вобще я так понимаю не совсем то имелось ввиду...

Взаимодействие между базами данных - думаю вещь нужная и дело не в амбициях..
всяко лучше если база будет не в одном месте и с точки зрения устойчевости всяко лучше. можно пойти так, иметь некую центральную базу и раздовать на подченнение коих может быть сколько угодно..обратный прием только в таблицу хлама и не чего больше...причем без замены данных, а только добавлением... вобщем тут есть над чем подумать еще

А я вообще ничего не понял!
Завтра если зайду, объяснишь?

Цитата

С точки зрения УСТОЙЧИВОСТИ - банальная репликация решает ВСЕ проблемы с устойчивостью. Плюс использование механизма ТРАНЗАКЦИЙ при постинге сообщения.

Какие-нибудь еще доводы в пользу не-единой БД есть (не хочется говорить "распределенной", это немного другое)?

Твоя позиция - база должна быть одна? Или как в той системе eDonkey распределена покусочкам среди пользователей?
Просто мы уже с тобой говорили на эту тему - вся база предполагает быть слишком большой, чтобы ее кто-то один у себя хранил, а еще интернациональные базы (на другом языке)...

да распределенной не много другое понятие, есть идеи, но это только идеи.. почму не сделать базы двух типов, верхний уровень, это базы (напрмер по одной в стране) тоесть базы высокого доверия только провернные люди, оргинизации.. полная синхронизация...и базы для обычных желающих..синхронизация только вниз. хотя сдругой стороны хлам не представляет особой ценности можно и гонять туда сюда..чтобы на получилось в всех своего хламу по чуть-чуть... должна обеспечится равноправия баз и доступ к информации, причем как главное условие, чтобы не забивались по своим углам

вобщем еще раз повторю это только идеи от них можно и отказаться

Цитата

Если, как говорит Маркони, "дело не в амбициях" - то одна и только одна. Вопрос "о слишком большой базе" (то есть ограниченность в вычислительных ресурсах), то этот вопрос решается увеличением производительности. (хостинг -> более хороший хостинг -> сервер -> более крутой сервер -> кластер серверов). Интернациональная - так интернациональная. Это всего лишь пара полей в таблице и не более того.

Цитата

Давай рассмотрим вопрос иначе. Не с точки зрения "почему бы не сделать", а с позиции ЗАЧЕМ нам это делать. ЗАЧЕМ это нужно? ЧТО это решает? КАкую-то проблему - КАКУЮ?

Цитата

С этим совершенно согласен! (отдельно замечу, что это не подразумеваеть доступ к РЕЗУЛЬТАТАМ исследований - степень их открытости личное дело каждого).

тут была мессага Маркони. Но что-то сглючило... и ее не стало. Neir0mancer.

А ты уверен, что предложенный тобой способ - оптимальный? Мне он кажется далеко не простым... Вот наиболее простое и не менее эффективное решение.
1. "Базовый сервис" - на сервере, размещенном, предположим, в хорошем дата-центре (именно ДАТА-ЦЕНТРЕ) в Москве. На нем все работает.
2. "Бэк-ап" - ежедневная инкрементальная репликация на дохленький серверок, находящийся в дата-центре в Китае. И пусть туда добираются
3. Ну и для тройной подстраховки - раз в месяц копировать дамп (тоже инкрементально - не так уж и много траффика) себе на комп Хотя бы для удобства (быстроты) пользования оффлайн-версией.

Сие можно совершать не только на уровне серверов, но и банальных хостингов. (отдача XML базовым сервисом и парсинг оного бэкапным).

ну ладно, это уже опять детали полезли... мозговой штурм для программеров.. так в целом все правильно..думаю пока это лучшая модель..

Ну не могу понять. Толи мои слова игнорируются, толи проходят мимо ушей, толи ещё что, что каждый раз приходится всё повторять.
Я уже говорил, что у всех сейчас свои взгляды на базу данных. Но создаст её тот, кто этим занимается. А предложения - это дело хорошее, но предлагать каждый горазд. Мы всё равно не сделаем базу общей. И это вообще глупо, поскольку это требует колосальных человекоресурсов.
Что касается принципа баз. Да пусть каждый создаёт то, что считает нужным, и на каждой базе будут ссылки на другие - других государств. Схема проста и всех устроит. А что касается тонкостей создания, это уже другая проблема. Я начал подготавливать материалы по ключевым словам, и мне виден результат, видно, что это направление эффективно.
Я вообще не понимаю проблему хлама. Какой может быть хлам, если мы исследователи, и должны проверять максимальное количество случаев, а не сидеть за компьютером и перебирать письма читателей.
Что то эта база в какой-то культ превратилась, в смысл жизни. Да это вообще простая прога, так сказать, которая должна помогать в исследованиях, а не быть их целью. Наша задача - строить гипотезы и проверять их экспериментально до того, пока это не станет фактом. Вот где исследования, а не базы данных и сайты.
Не могу понять, причём сдесь вообще какие-то амбиции и т.п. Если человек заинтересован в каком то деле, то он по разному может выссказывать точку зрения. Мы тут дискуссируем, а не на молитве стоим.
Концепция Нейроманцера. Да я вообще-то про это и говорю. Только не нужно делать кучу разных классификаторов. Это уже непонять что получится. Вы хотите создать базу, где нужно поставить галочку и вам тут доклад появится на нобелевку. Так такого не будет никогда. База - это и есть хранилище. Там могут быть гипотезы и факты. Кто как хочет. А уже выводы делать и думать - это наша работа. И вообще база расчитана на исследователей, а не на детишек, любящих поиграть в Малдера и Скалли. И зачем нужны эти новороты, требующие огромных сил, чтобы народ бегал на базу. Для народа есть сайт, вот пускай там и лазят. Я даже и предлагать это Игорю не буду.
Тоже самое на счёт других языков. Да делать вам нечего, вот что я могу сказать. Нужно на себя работать, а не на других. Вам за это никто спаасибо не скажет. Есть такие люди, которые обладают большими возможностями и которые не ездят по зонам и т.п. Они просто залезут на базу, поиспользуют наши знания, получат результат, может даже в виде денег (и немалых), а с нами никто не поделится. Вы как хотите, а я ещё не на столько двинулся, чтобы дарить свою информацию, которая мне стоила огромных сил и честно заработанных денег кому попало.
У нас есть узкий список коллег, с которыми мы работаем, и которым я доверяю. Для них и для себя я этим и занимаюсь, а не для всяких там неизвестно кого.
Зачем тогда кому-то будет вступать в наши организации, когда он сидя дома сможет получить всбю информацию, причём бесплатно. Зачем. А вот если бы мы сказали, что мы позволим пользоваться нашими ресурсами, так и членство в наших организациях было бы перспектабельно.
А так ничего хорошего не будет. Я вообще заинтересован в том, чтобы в каждой организации было налажено какое-либо предпренимательство, прибыль от которога шла бы на материальное обеспечение деятельности. А на одних зарплатах и времени после работы далеко не уедешь. Слишком тяжело.
Некоторые проекты требуют вообще колосальных денег. Но это проекты по реальным исследованиям, а не по проездам по аномальным зонам и опросу очевидцев.
А мы тут на базе данных застряли. Да всё равно каждый будет создавать то, что считает нужным. Зачем спорить. Наша задача договорится о том, что человек, попав на одну, сможет попасть и на остальные. А то вы тут с первого раза хотите создать супер пупер. Так не выйдет. Всё равно будет куча ляпов и к этому нужно быть готовым.

что-то тебя понесло, столько написать но не понятно чего.

>А на одних зарплатах и времени после работы далеко не уедешь.
> Слишком тяжело.

но ведь уежаем! именно так сейчас работают почти все организации

>Мы всё равно не сделаем базу общей. И это вообще глупо,
>поскольку это требует колосальных человекоресурсов.

почему это не сделаем? с чего глупо то? ресурсов хватит


>Вам за это никто спаасибо не скажет

я уже привык

>Они просто залезут на базу, поиспользуют наши знания

в лучшем случае они получат записи из таблиц хлама и не класификаторов и так далее, ценности такое информации ноль, круглый ноль, и не каких денег тут не сделаешь. Вобще я смотрю в умах все чаще появляетя идея комерцилизации направления. Вот и Субботин свою базу продаёт, вобще перспективна на радостная. Если ты хочешь сделать базу с расчетом что-то заработать то сразу забуть, делай тогда лучше базу по законадательству и продовай фирмам. Не будет народ прибывать для исследований, как показывает практика настоящий исследователь все равно придет в организацию даже если у организации нет сайта, а всякая шушара (играющая в скалдера) будет крутится под ногами вечно, как ты не приукрась свою дейятельность...

да надо общую базу, и чтобы супер-пупер...

А давайте все-таки СДЕЛАЕМ. Единую (ведь мир не ограничивается границами Белорусии, Украины и т. д...). Пока без множества классификаторов(все что надо - тип, дата, время, место и само описание). А дальше просто посмотрим, как будет удобно отсеивать из этого массива хлам (здесь хлам - запуски, астрономические объекты и т.п.).
Ужас как не люблю трепаться попусту и топтаться на одном месте в поисках решения. Поймите же, полностью просчитать все детали заранее не просто тяжело, а (в данном случае) невозможно! Ведь недостатки базы прорявятся в ходе ее эксплуатации, и куда обидней переделывать заново то, на что потратили недели работы, чем просто добавлять по мере надобности те или иные функции.
Если бы я знал PHP как русский язык, то база была бы уже давным-давно готова. Беда в том, что знаю я его как польский - общий смысл понимаю, а как написать - не знаю. Но все равно, с помощью других людей сейчас делаю единую информационную базу Космопоиска (к Новому году думаю будет бета-версия). И в ней запланирована реализация базы по АЯ. Поэтому всем желающим работать, а не трепаться, предлагаю собраться онлайн в закрытом чате, к примеру Космопоиска, в определенное время и действовать совместно. Кто за?

я за, если заметили то PHP язык я знаю лучше чем родной Русский 8)))

ну я то и так в чате всегда

Striker, а альфа-версия уже есть? Если ты обратишь внимание на соседнюю тему, то можешь увидеть, что альфа-версия УфоКома уже запущена - http://ufo-com.net/baza Что же касается "граблешагателей", как назвал их Нектон, то они всегда есть и будут, но свежие интеллектуальные ресурсы и большое их количество, думается, разрешит проблему создания БД!

Вообще, говоря прямо, эта демка - все еще "пластелин" из которой можно слепить все что угодно (ну почти). И нам прежде всего хотелось бы, чтобы люди высказывали конкретные замечания и предложения, что их не устраивает в этой базе. Потому как ее создание тоже потребовало немало человекочасов. И все пожелания мы стараемся учесть и исправить.

С этого момента ввожу строгую модерацию темы. Обсуждаем только концепцию. Остальные мысли философского характера, не имеющие отношения к БД - к черту. Задрало, что превращают любую тему во флейм.

Маркони! Что ты думаешь об OPEN SOURCE? Сколько было попыток сделать базу? И где наработки? Кто-то что-то когда-то сделал, но не поделился, из соображений, аналогичных Руслановым. А потом забил... и не кому подхватить эстафету... каждому приходится начинать с нуля. Призываю сделать публичной не только базу, но и исходные тексты. Если у нас ничего не получится, то остануться готовые модули и спецификации для наших детей, которым мы сэкономим время.

обоими руками за опен!

Вот и славно. С нетерпением жажду услышать мнения (не флейм!) остальных участников. И далее приступаем к обсуждению и написанию спецификаций и технических заданий.