hudsonrock #2327

g4ze · 2024-05-17T11:20:42Z

closes #2027 and #2279

Description

add hudsonrock anakyzer

Type of change

Please delete options that are not relevant.

Bug fix (non-breaking change which fixes an issue).
New feature (non-breaking change which adds functionality).
Breaking change (fix or feature that would cause existing functionality to not work as expected).

Checklist

Important Rules

If you miss to compile the Checklist properly, your PR won't be reviewed by the maintainers.
Everytime you make changes to the PR and you think the work is done, you should explicitly ask for a review. After being reviewed and received a "change request", you should explicitly ask for a review again once you have made the requested changes.

{
"date_uploaded": "2019-11-07T04:38:32.024Z",
"stealer_family": "Vidar",
"antiviruses": "Not Found",
"employee_session_cookies": "null",
"date_compromised": "2019-11-04T13:33:47.000Z",
"credentials": [
{
"type": "client",
"url": "••••••••••••••",
"domain": "disney.com",
"username": "•••••••",
"password": "••••••••",
}
],
"stealer": "••••••••••••",
"employeeAt": ["••••••••••"],
"clientAt": [
"•••••••••••••••",
"•••••••••••",
"••••••••••••",
"•••••••••",
"•••••••••••••",
"••••••••••••••••••",
"•••••••••",
"•••••••••",
"••••••••••",
"•••••••••••",
"••••••••••••",
"••••••••••••••",
"•••••••••",
"•••••••••••••",
"••••••••",
"••••••••••••••••",
"••••••••••",
"••••••",
"•••••••••••",
"••••••••••••",
"••••••••••••",
"••••••••••",
"•••••••••••",
"••••••••••",
"•••••••••••••",
"••••••••••••••••",
"••••••••••••",
"•••••••••••",
"••••••••••••••••",
"•••••••••••••",
"•••••••••",
"••••••••••••",
"••••••••",
"••••••••••",
"•••••••",
"•••••••••••••",
"••••••••••••••••",
"•••••••••••••••••••",
"••••••",
"••••••••••",
"••••••••••••••••••",
"••••••••••••••••",
"•••••••••",
"•••••••••••",
"••••••",
"•••••••••",
"•••••••••",
"••••••••••",
"•••••••••••••••",
],
"ip": "••••••••••••••",
"malware_path": "••••••••••••••",
},
{
"date_uploaded": "2019-11-06T21:51:35.676Z",
"stealer_family": "Vidar",
"antiviruses": "Not Found",
"employee_session_cookies": "null",
"date_compromised": "2019-11-03T20:39:11.000Z",
"credentials": [
{
"type": "client",
"url": "•••••••••••••••",
"domain": "disney.com",
"username": "•••",
"password": "•••••••••",
}
],
"stealer": "••••••••••••••••••••••••••••••••",
"employeeAt": ["•••••••••••", "••••••••••", "••••••"],
"clientAt": [],
"ip": "•••••••••••••",
"malware_path": "•••••••••••••••••••",
},
{
"date_uploaded": "2021-07-11T12:17:51.429Z",
"stealer_family": "RedLine",
"computer_name": "This PC",
"operating_system": "Windows 10 Home x64",
"antiviruses": "Norton 360",
"employee_session_cookies": "null",
"date_compromised": "2021-07-06T23:27:32.000Z",
"credentials": [
{
"type": "client",
"url": "••••••••",
"domain": "disney.com",
"username": "••••••",
"password": "••••••••••",
}
],
"stealer": "•••••••••••••••••••",
"employeeAt": ["•••••••••", "••••••••", "••••••••••"],
"clientAt": [
"•",
"•",
"••••",
"••••••••••••••",
"•••••••••",
"••••••••••",
"•••••••••••",
"•••••••••",
"••••••••••••",
"•••••••••••••••••••",
"••••••••••••••••",
"•••••••••••••••••",
"••••••••••••",
"••••••••••",
"••••••••••••••••••",
"•••••••••••",
"••••••••••••",
"••••••••••••",
"••••••••",
"•••••••••••••••••",
"••••••••••••••••",
"••••••••••••••",
"•••••••••••",
"••••••••••••",
"•••••••••••••••••",
"•••••••••••••••••••••",
"•••••••••••••••••••",
"••••••••••••••••••••",
"•••••••••••••••••••••••",
"•••••••••••••",
"•••••••••••••••••••••",
"•••••••••••••••••••••••",
"••••••••",
"••••••••••••••••••••",
"•••••••••••••••••",
"•••••••••••••••••",
"•••••••••••",
"••••••••••",
"••••••••••••••",
"••••••••••••",
"•••••••••••",
"••••••••••",
"••••••••••",
"••••••••••••",
"••••••••••••••••",
"•••••••••••••",
"•••••••••",
"•••••••••••",
"•••••••",
"•••••••",
"••••••••••",
"••••••",
"••••••••",
"••••••••••",
"••••••••••••••••",
"••••••••••••",
"•••••••",
"•••••••••••••••",
"••••••••••",
"••••••••••••••••••",
"•••••••",
"••••••••",
"•••••••",
"•••••••••••••",
"•••••••••••",
"••••••••••",
"••••••••••••••••",
"•••••••••••",
"•••••••••••",
"•••••••••••••••",
"•••••••••••",
"•••••••",
"•••••••••••••",
"•••••••••••••",
"•••••••••••••",
"•••••••••••••••••",
"••••••••",
"••••••••••••",
"••••••••••••",
"••••••••",
"••••••••••••••",
"•••••••••••",
"•••••••••••••",
"••••••••••••••••",
"•••••••••••",
"•••••••",
"•••••••••",
"••••••••••••",
"•••••••••••••••",
"•••••••••••••••",
"•••••••••",
"•••••••••••",
"••••••••",
"•••••••••••",
"••••••••••••••",
"•••••••••••",
"••••••••••••••",
"••••••••••••••••",
"••••••••••••••••",
"•••••••••••••••",
"••••••••",
"•••••••••••",
"•••••••••••",
"••••••••••••••••",
"•••",
"••••••••",
"•••••••••",
],
"ip": "••••••••••••••",
"malware_path": "•••••••••••••",
},
{
"date_uploaded": "2021-05-06T05:58:56.299Z",
"stealer_family": "RedLine",
"computer_name": "jskho",
"operating_system": "Windows 10 Home x64",
"antiviruses": "Norton Security",
"employee_session_cookies": "null",
"date_compromised": "2021-05-06T01:31:09.000Z",
"credentials": [
{
"type": "client",
"url": "•••••••••••••••••",
"domain": "disney.com",
"username": "•••••••@gmail.com",
"password": "••••••••",
}
],
"stealer": "•••••••••••••••",
"employeeAt": [],
"clientAt": [
"••••••••••••••",
"•••••••••••••••••••",
"•••••••••••",
"•",
"•",
"••••",
"••••••••••••••••",
"••••••••••••••••••••",
"•••••••••••••••••••••",
"••••••••••••",
"••••••••••",
"•••••••••••••••",
"•••••••••",
"•••••",
"••••••••••••",
"•••••••••••••",
"••••••••••••••••••••••",
"•••••••••••••••••",
"•••••••••••••",
"•••••••••••",
"••••••••••••",
"••••••••",
"•••••••••",
"••••••••••••••",
"••••••",
"••••••••••••",
"••••••••••••••••",
"••••••••••••••",
"•••••••••••••••",
"•••••••••••••",
"•••••••••••",
"•••••••••••••••••••",
"•••••••••••••••••••",
"••••••••",
"••••••••••••••••••",
"•••••••••",
"•••••••••",
"•••••••••••••••••••••",
"•••••••••••••••••••••",
"•••••••••••••••••••••",
"••••••••••••••••",
"•••••••••••••••••••",
"•••••••••••••••••••••",
"••••••••••",
"•••••••••••••••••••••",
"••••••••••••••••••••••••••",
"•••••••••••••",
"•••••••",
"••••••••••••••",
"••••••••••",
"••••••••••",
"•••••••••••",
"•••••••••",
"••••••••",
"••••••",
"••••••",
"•••••••••••",
"•••••••••••••••••••",
"•••••••••••••••",
"••••••••••",
"•••••••••••••••••",
"••••••••••••",
"••••••••••••••••••",
"•••••••••",
"••••••••••••",
"••••••••••••••••••",
"•••••••••",
"••••••",
"••••••••••",
"••••••••••••••••••",
"••••••••••",
"•••••••••••",
"••••••••••••",
"••••••••••••",
"•••••••••••••",
"••••••••••••••••••••",
"•••••",
"••••••••",
"•••••••••••",
"••••••••••••••",
"•••••••••••••••",
"•••••••••••••",
"•••••••••••••",
"••••••••••",
"••••••••••",
"••••••••••••••••",
"••••••••",
"•••••••••",
"••••••••••",
"•••••••••••••",
"••••••••••",
"•••••••••••",
"••••••••••••••",
"••••••••",
"•••••••••••••••••",
"••••••••••••••••••",
"•••••••••",
"•••••••••••••",
"••••••••••••••••••",
"•••••••••••••••",
"•••••••••",
"••••••••••••••",
"•••••••••••••••••",
"••••••••••••••••",
"••••••••••••••••",
"•••••••••••",
"•••••••••••••••••••••••••",
"•••••••••••",
"••••••••••••",
"••••••••••••••",
"•••••••••",
"••••••••",
"••••••••••••••••••••",
"••••••••••••••••",
"•••••••••••••",
"•••••••••••••••••••••",
"••••••••••••••••",
"•••••••••••••••",
"•••••••••••••",
"••••••••••",
"•••••••••••••",
"•••••••••••••",
"••••••••••••",
"••••••••••••••••",
"••••••••••••",
"•••••••••",
"••••••••••••",
"••••••••••••",
"•••••••••••••••••",
"•••••••••••••",
"•••••••••••••",
"••••••••",
"•••••••••••••••••••••",
"••••••••••••",
"••••••••••••",
"••••••••••••",
"••••••••••••••••••••••",
"•••••••••",
"•••••••••••••••••••••",
"••••••••••••••",
"•••••••••••••••••••",
"•••••••••••••",
"•••••••••••",
"••••••••••",
"•••••••••••",
"•••••••••••",
"•••••••••••••••••••",
"••••••••••••••••••",
"••••••••••••••••",
"•••••••••",
"••••••••••••••••••",
"••••••••••••••••",
"•••••••••••••",
"••••••••••••••••",
"••••••••••••••••••••",
"••••••••••••",
"•••••••••••",
"••••••••••",
"•••••••••••••••••",
"•••••••••••••••••",
"•••••••••••••",
"•••••••••••••••",
"••••••••",
"••••••••••",
"•••••••••••••••••••••",
"•••••••••",
"•••••••••••",
"•••••••••••••••",
"•••••••••••",
"•••••••",
"••••••••",
"••••••••",
"•••••••••",
"•••••••••••••••",
"••••••••••••••••",
"••••••••••••••••••",
"•••••••••",
"••••••••••••••••",
"•••••••",
"•••",
],
"ip": "•••••••••••••",
"malware_path": "••••••",
},
{
"date_uploaded": "2021-04-02T11:46:34.357Z",
"stealer_family": "RedLine",
"computer_name": "samih",
"operating_system": "Windows 10 Home x64",
"antiviruses": "Windows Defender",
"employee_session_cookies": "null",
"date_compromised": "2021-03-31T18:23:31.000Z",
"credentials": [
{
"type": "client",
"url": "",
"domain": "disney.com",
"username": "••••••••",
"password": "••••••••••",
},
{
"type": "client",
"url": "•••••••••••••••••",
"domain": "disney.com",
"username": "••••••••",
"password": "••••••••••",
},
],
"stealer": "••••••••••••••••••••",
"employeeAt": [],
"clientAt": [
"•",
"•",
"••••",
"•••••••••••••••••••",
"••••••••••••••••",
"•••••••••••••••••",
"••••••••••",
"•••••••••••",
"••••••",
"••••••••",
"••••••••••••",
"••••••••••",
"•••••••••",
"•••••••••••••••••••",
"••••••••••••••••••",
"••••••••••••",
"••••••••••",
"••••••••••",
"••••••••••",
"•••••••••••••••••",
"••••••••••",
"•••••••••••••",
"••••••••",
"••••••••••••••••••••••••••••",
"••••••••••••••••",
"•••••••••",
"•••",
],
"ip": "••••••••••••••",
"malware_path": "•••••",
},

g4ze · 2024-05-17T11:30:12Z

hey! @mlodic can you please check the wrapper and let me know if it needs work?

mlodic · 2024-05-17T11:34:18Z

like they specified, in the generic option we could detect if that's an email and, in case, use the correct API too

mlodic · 2024-05-17T11:35:51Z

then, it would make sense to support the majority of the parameters available for the queries and not only the 2 ones you added: https://cavalier.hudsonrock.com/docs

g4ze · 2024-05-17T11:42:13Z

like they specified, in the generic option we could detect if that's an email and, in case, use the correct API too

Do you mean that we should validate if the generic entered is an email or not an only then proceed to run the api?

mlodic · 2024-05-17T11:45:59Z

yes and no: the generic type functions as a container for anything so the analyzer should differentiate between what he gets and run a different api call based on the content it receives

g4ze · 2024-05-17T11:50:23Z

okay, pls correct me if I'm wrong here, the generic type in our case is required to only for the logon/email endpoint right?
We just need to:

if observabletype is generic and is email:
  run login api endpoint

g4ze · 2024-05-17T11:50:53Z

else: a config err

g4ze · 2024-05-17T23:47:58Z

review pls

g4ze · 2024-05-17T23:54:36Z

also, a clear tlp for this makes sense right?

…into HudsonRock#2027

mlodic · 2024-05-20T07:53:24Z

seems good to me, just the maximum TLP should be AMBER -> This value can be quite confusing to set. In this case this should be amber because it is an external service so, for instance, when you create a new job, TLP:RED must esclude any external connection, while all the other TLP values allow them.

g4ze · 2024-05-20T08:06:17Z

I think I understand what you are saying. Is there any doc which I can refer to, which elaborates on TLP. It's a bit too confusing atm

mlodic · 2024-05-20T08:24:03Z

https://intelowl.readthedocs.io/en/latest/Usage.html#tlp-support

g4ze · 2024-05-20T08:27:48Z

how do i decide the privacy factor? using an external api/tool is considered as an impact on privacy?

g4ze · 2024-05-20T08:48:37Z

I think we're gtg here.

mlodic · 2024-05-20T10:31:05Z

using an external api/tool is considered as an impact on privacy?

yep cause you are sending your data to an external service so it should be excluded for TLP:RED

* updated yeti analyzer and connector to support new major * updated default pycti version * fixed MaxMind data extraction for the country flag * Fix pivot + file Signed-off-by: 0ssigeno <s.berni@certego.net> * healthcheck available for Plugins with `url` option by default (#2320) * healthcheck available for Plugins with `url` option * doc * fix * Bump quark-engine from 24.4.1 to 24.5.1 in /requirements (#2313) Bumps [quark-engine](https://github.com/quark-engine/quark-engine) from 24.4.1 to 24.5.1. - [Release notes](https://github.com/quark-engine/quark-engine/releases) - [Commits](quark-engine/quark-engine@v24.4.1...v24.5.1) --- updated-dependencies: - dependency-name: quark-engine dependency-type: direct:production update-type: version-update:semver-minor ... Signed-off-by: dependabot[bot] <support@github.com> Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com> * Bump jsonschema from 4.21.1 to 4.22.0 in /requirements (#2311) Bumps [jsonschema](https://github.com/python-jsonschema/jsonschema) from 4.21.1 to 4.22.0. - [Release notes](https://github.com/python-jsonschema/jsonschema/releases) - [Changelog](https://github.com/python-jsonschema/jsonschema/blob/main/CHANGELOG.rst) - [Commits](python-jsonschema/jsonschema@v4.21.1...v4.22.0) --- updated-dependencies: - dependency-name: jsonschema dependency-type: direct:production update-type: version-update:semver-minor ... Signed-off-by: dependabot[bot] <support@github.com> Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com> * Bump docutils from 0.20.1 to 0.21.2 in /requirements (#2312) Bumps [docutils](https://docutils.sourceforge.io) from 0.20.1 to 0.21.2. --- updated-dependencies: - dependency-name: docutils dependency-type: direct:production update-type: version-update:semver-minor ... Signed-off-by: dependabot[bot] <support@github.com> Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com> * Revert "Bump docutils from 0.20.1 to 0.21.2 in /requirements (#2312)" This reverts commit 9e5106e. * prettier * changes (#2322) * Phoneinfoga analyzer adjustment (#2324) * Phoneinfoga Signed-off-by: 0ssigeno <s.berni@certego.net> * Linters Signed-off-by: 0ssigeno <s.berni@certego.net> * adjusted phoneinfoga * Update api_app/analyzers_manager/migrations/0088_phoneinfoga_parameters.py --------- Signed-off-by: 0ssigeno <s.berni@certego.net> Co-authored-by: Matteo Lodi <30625432+mlodic@users.noreply.github.com> * Fix serializer Signed-off-by: 0ssigeno <s.berni@certego.net> * Fix sender Signed-off-by: 0ssigeno <s.berni@certego.net> * pcap_analyzers adjusts + new playbook for PCAP files + upgraded Suricata to v7 (#2325) * pcap_analyzers adjusts + new playbook for PCAP files + upgraded Suricata to v7 * adjusted hfinger * adjust test * adjust test and upgraded watchman * tests * fix custom analysis (#2323) * hudsonrock (#2327) * hudsonrock * tests * test * add params * migration * tests * migration * i always overlook this lol * tlp to amber --------- Co-authored-by: g4ze <bhaiyajionline@gmail.com> * Update api_app/analyzers_manager/observable_analyzers/hudsonrock.py Co-authored-by: code-review-doctor[bot] <72320148+code-review-doctor[bot]@users.noreply.github.com> * black * Fixes frontend regex (#2329) * support phone numbers * moved phone number validation to E.164 format * removed dates from parsing as IP addresses * prettier * Cy cat#1479 (#2328) * cycat * cycat * cycat wrapper done * migration * docs * tests * tests --------- Co-authored-by: g4ze <bhaiyajionline@gmail.com> * updated changelog * fix loading visualizer navbar (#2335) * fix visualizer loading * changes * --- (#2332) updated-dependencies: - dependency-name: celery[redis,sqs] dependency-type: direct:production update-type: version-update:semver-minor ... Signed-off-by: dependabot[bot] <support@github.com> Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com> * --- (#2334) updated-dependencies: - dependency-name: intezer-sdk dependency-type: direct:production update-type: version-update:semver-minor ... Signed-off-by: dependabot[bot] <support@github.com> Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com> * --- (#2333) updated-dependencies: - dependency-name: docutils dependency-type: direct:production update-type: version-update:semver-minor ... Signed-off-by: dependabot[bot] <support@github.com> Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com> * Speed up (#2336) Signed-off-by: 0ssigeno <s.berni@certego.net> * Revert "--- (#2333)" This reverts commit 12802eb. --------- Signed-off-by: 0ssigeno <s.berni@certego.net> Signed-off-by: dependabot[bot] <support@github.com> Co-authored-by: Daniele Rosetti <d.rosetti@certego.net> Co-authored-by: 0ssigeno <s.berni@certego.net> Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com> Co-authored-by: Martina Carella <m.carella@certego.net> Co-authored-by: Simone Berni <simone.berni2@studio.unibo.it> Co-authored-by: Nilay Gupta <102874321+g4ze@users.noreply.github.com> Co-authored-by: g4ze <bhaiyajionline@gmail.com> Co-authored-by: code-review-doctor[bot] <72320148+code-review-doctor[bot]@users.noreply.github.com> Co-authored-by: Daniele Rosetti <55402684+drosetti@users.noreply.github.com>

g4ze added 3 commits May 17, 2024 16:49

hudsonrock

e66ab00

tests

301a6bd

test

c30cf88

add params

a098cc6

g4ze added 5 commits May 18, 2024 05:37

migration

d030ff4

tests

f1a2988

Merge branch 'develop' of https://github.com/intelowlproject/IntelOwl …

c16c751

…into HudsonRock#2027

migration

a25ecad

i always overlook this lol

174e4b8

tlp to amber

745c5d4

g4ze self-assigned this May 20, 2024

mlodic merged commit e90b0c1 into intelowlproject:develop May 20, 2024
11 checks passed

mlodic added this to the GSoC 24 Analyzers - First Evaluation milestone May 20, 2024

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

hudsonrock #2327

hudsonrock #2327

g4ze commented May 17, 2024 •

edited

g4ze commented May 17, 2024

mlodic commented May 17, 2024

mlodic commented May 17, 2024

g4ze commented May 17, 2024

mlodic commented May 17, 2024

g4ze commented May 17, 2024

g4ze commented May 17, 2024

g4ze commented May 17, 2024

g4ze commented May 17, 2024

mlodic commented May 20, 2024 •

edited

g4ze commented May 20, 2024

mlodic commented May 20, 2024

g4ze commented May 20, 2024

g4ze commented May 20, 2024

mlodic commented May 20, 2024

hudsonrock #2327

hudsonrock #2327

Conversation

g4ze commented May 17, 2024 • edited

Description

Type of change

Checklist

Important Rules

g4ze commented May 17, 2024

mlodic commented May 17, 2024

mlodic commented May 17, 2024

g4ze commented May 17, 2024

mlodic commented May 17, 2024

g4ze commented May 17, 2024

g4ze commented May 17, 2024

g4ze commented May 17, 2024

g4ze commented May 17, 2024

mlodic commented May 20, 2024 • edited

g4ze commented May 20, 2024

mlodic commented May 20, 2024

g4ze commented May 20, 2024

g4ze commented May 20, 2024

mlodic commented May 20, 2024

g4ze commented May 17, 2024 •

edited

mlodic commented May 20, 2024 •

edited