내 노트북에 deepseek r1 설치해서 업무에 사용가능할까? 논리,엔지니어링,코딩 테스트(ft.LMStudio)

내 노트북에 deepseek r1 설치해서 업무에 사용가능할까? 논리,엔지니어링,코딩 테스트(ft.LMStudio)
보안 걱정 업이 내 노트북에 deepseek r1을 설치해서 사용하면
업무에 적용할 수 있을까요?
LMStudio라는 프로그램을 통해 deepseek r1을 내 컴퓨터에 설치하고
논리,엔지니어링,코딩 테스트를 해봤습니다.
노트북에 GPU가 없는 경우 8b정도 크기의 deepseek r1을 설치 가능합니다.
모델이 클 수록 성능이 좋기 때문에 8b의 성능을 체크해봐야 합니다.
#aI #인공지능 #deepseek #deepseekr1 #chatGPT #claude #토목구조기술사 #토목시공기술사 #토질및기초기술사 #도로및공항기술사 #토목기사 #토목공학

[@paullee1792]

딥싴크 로컬로 사용하는중 차이나모바일로 연결되서 계정이 자동 생성 된다고 합니다. 그리고 차이나모바일과
중국 모기관과 숨겨져서(vpn 같은것) 연결되고. ..,이러니 어느부분에서 비밀코드가 들어있는지가 밝혀질때까지는
사용하기 힘들겠네요. 중국으로 너머가는 데이터는 무조건 정지시티는 페치가 나오면 돟겠네요.

[@dolljong]

@@paullee1792 의견 감사합니다.
기본적으로 오픈된 모델은 실행파일이 아니라서 외부접속을 할 수 없는 것으로 알고 있습니다. 모델은 그냥 데이터 덩어리입니다. AI모델은 웨이트(파라메터)들의 집합입니다. 그걸 불러다 실행기키는 것이 ollama나 lmstudio 같은 프로그램입니다. 외부 접속을 하려면 이 프로그램들에 그런 기능이 있어야 하는데 이런 프로그램들은 워낙 많이 알려져 있어서 어느정도 검증이 되었다고 보셔도 무방하지 않나 싶습니다. 그런 널리 알려진 앱이 아니라 딥식이 만들어서 배포한 앱이라면 조심하는 것이 좋을 것 같습니다. 즉. 딥식사이트, 딥식앱을 사용할 때는 보안에 조심하셔야 하고 다른 믿을만한 사이트에서 제공하는 서비스(예:MS,아마존,뤼튼)나 로컬에서 믿을만한 앱으로 돌리신다면 보안 걱정은 안하셔도 될 거 같습니다.
참고로 아래에 퍼플렉시티에게 질문한 결과 링크를 걸어두겠습니다. www.perplexity.ai/search/ollamana-lmstudioro-modeleul-d-_v3qs7n1RVimM7.35neTtA

[@drivekim]

@@dolljong숨겨진 프로세스가 불가능하다는 것인가요?

[@dolljong]

@ LMM 모델자체는 데이터 파일입니다. 그 파일 안에는 숫자 밖에 없습니다. 그걸 로드해서 실행시키는 것이 ollama나 lmstudio같은 프로그램인데 그 프로그램은 중국에서 만든 것이 아니고 세계적으로 많이 알려져 있는 프로그램입니다. 모델 파일은 실행파일이 아니라 어떤 프로세스를 숨길 수 없는 것으로 알고 있습니다.

[@drivekim]

@@dolljong 딥씨크가 공개한 정보 취득이 있습니다.
문제는 정치적 이유로 비밀 스럽게 정보를 취득 못한다고 보시나요?

[@dolljong]

@drivekim 딥식 사이트에 접속하면 정보취득당할 수 있으니 거기 접속 금지한 겁니다. 모델 자체에는 정보탈취기능이 없습니다. 미국회사들도 딥식모델을 자사 서버로 서비합니다. MS 아마존 등 많은 회사들이 서비스하고 있습니다. 국내 뤼튼이라는 회사도 국내서버에서 서비스하고 있습니다. 모델자체가 정보탈취를 하는게 아니라 사이트 접속하고 프롬프트를 입력하면 정보를 그 서버에 주는 것으로 보면 됩니다.

[@autogecko318]

로컬 사용 욕심이 나긴했는데 deepseek 은 API값이 워낙 싸서 ㅎ.그냥 API호출로 쓰고 있습니다. 영상 감사해요

[@dolljong]

의견 감사합니다. 로컬이 보안상 종은데 막강한 GPU와 메모리 등 하드웨어가 필요한 거 같습니다. 안 그러면 속도가 너무 느려서 사용하기 함들 것 같고요. 그리고 각종 부가 기능을 사용하기도 힌든 것 같고요. 모델이 더 작아질 따까지는 일단 API로 쓸 수 밖에 없는 것 같습니다.

[@jinjan-qd9si]

인터넷 검색도 되는 로컬 모델은 없을까요. 검색해서 광범위한 지식을 흡수 해서 참조할 수 있으면 성능이 좋아 질듯한데..

[@dolljong]

의견 감사합니다. 검색해보니 몇게의 RAG(검색증강생성) 프레임워크가 있는 것 같습니다. 로컬 문서를 RAG할 수 있다면 업무에 많은 도움이 될 거 같습니다. 구글이나 마이크로 소프트에서는 클라우드에 AI를 적용할 것 같고요. 제 생각에는 결국 AI는 OS와 통합되지 않을까 싶습니다. 침 기술과 AI기술이 발전하면 노트북에 설치된 AI칩이 직접 AI기능을 수행하지 않을까 싶습니다. 멀지 않은 미래에 그렇게 되겠죠.

[@k무지]

인터넷검색은 모델의 기능이아니라. 어플리케션에서 제공하는 옵션 기능입니다. Chat UI가 RAG처럼 인터넷검색 정보+ 사용자요청을 LLM에 떤져서 답변을 받는 방식입니다