- 15
- 509 503
Data Guy Story
Vietnam
Приєднався 25 кві 2016
Chuyện chàng trai biết data
Cấu trúc team Data Engineer? Data Platform Engineer, Data Engineer, Data Analytics Engineer
Hello mọi người,
Tiếp theo xu hướng hiện nay về Data Engineer cũng như số lượng dữ liệu khổng lồ ở các công ty, Data Engineer cũng chia ra nhiều vị trí nhỏ khác nhau như platform engineer, analytics engineer hay BI Engineer. Ở Video này, mình sẽ nói về những vị trí khác nhau trong team Data Engineer hen.
Anh chị em xem vui vẻ. Cám ơn đã ủng hộ mình.
Fanpage: dataguystory
🐻 a b o u t 🐻
Mình tốt nghiệp thạc sĩ tại đại học quốc gia Singapore chuyên ngành Data Science (Khoa học dữ liệu). Mình từng làm Data Scientist được khoảng 2.5 năm tại một tập đoàn tự động hóa lớn nhất nhì thế giới. Hiện tại mình đang làm Senior Data Engineer ở Grab Singapore. Hy vọng những video của mình sẽ giúp đỡ các bạn phần nào đó bước trên con đường Data này.
Special thanks to: Jay Chua and Larry Xu for the intro video
Music composed by Nhạc sĩ AI - Bảo Đại.
Tiếp theo xu hướng hiện nay về Data Engineer cũng như số lượng dữ liệu khổng lồ ở các công ty, Data Engineer cũng chia ra nhiều vị trí nhỏ khác nhau như platform engineer, analytics engineer hay BI Engineer. Ở Video này, mình sẽ nói về những vị trí khác nhau trong team Data Engineer hen.
Anh chị em xem vui vẻ. Cám ơn đã ủng hộ mình.
Fanpage: dataguystory
🐻 a b o u t 🐻
Mình tốt nghiệp thạc sĩ tại đại học quốc gia Singapore chuyên ngành Data Science (Khoa học dữ liệu). Mình từng làm Data Scientist được khoảng 2.5 năm tại một tập đoàn tự động hóa lớn nhất nhì thế giới. Hiện tại mình đang làm Senior Data Engineer ở Grab Singapore. Hy vọng những video của mình sẽ giúp đỡ các bạn phần nào đó bước trên con đường Data này.
Special thanks to: Jay Chua and Larry Xu for the intro video
Music composed by Nhạc sĩ AI - Bảo Đại.
Переглядів: 6 401
Відео
Lộ diện Data Lake, Data Warehouse và ví dụ thực tế với Hadoop, Hive, Spark
Переглядів 69 тис.2 роки тому
Hello mọi người, bữa nay mình mang tới một siêu phẩm nè. Bữa giờ mình nói về Data Warehouse, Datalake, Spark, Hadoop này nọ quá chừng mà có ai biết nó là cái gì, nhìn nó ra sao đâu. Ở video này mình làm một cái demo nho nhỏ để mọi người hình dung ra được Data Warehouse nó trông như thế nào. Ứng dụng Hadoop để build Data Warehouse, Datalake ra sao nha. Anh chị em xem vui vẻ. Cám ơn đã ủng hộ mìn...
Những gì mình đã trải qua để tạm thành công như bây giờ
Переглядів 16 тис.3 роки тому
💥 HAPPY NEW YEAR💥 Chúc mọi người năm mới bình an và hạnh phúc. Video này mình làm chủ yếu dành cho bản thân, để mình nhìn lại quãng đường mình đã đi qua. Mọi người rảnh cùng xem với mình nha. Đặt câu hỏi cho mình: go.calvinio.com/hoidapvoidataguy Fanpage: dataguystory 🐻 a b o u t 🐻 Mình tốt nghiệp thạc sĩ tại đại học quốc gia Singapore chuyên ngành Data Science (Khoa học dữ liệu). Mình t...
Q&A - Hỏi đáp về Data (phần 1)
Переглядів 14 тис.3 роки тому
Hello mọi người, mình nhận được rất nhiều câu hỏi về Data nên hôm nay làm video trả lời những câu hỏi thường gặp. Mình cố gắng duy trì những video này 2 tuần hoặc mỗi tháng 1 lần tùy theo số lượng câu hỏi. Bạn nào muốn đặt câu hỏi thì thông qua link này nha: go.calvinio.com/hoidapvoidataguy Fanpage: dataguystory 🐻 a b o u t 🐻 Mình tốt nghiệp thạc sĩ tại đại học quốc gia Singapore chuyên ...
Chuyện của Đạt, sinh viên năm 3 và offer fresher Data Engineer
Переглядів 17 тис.3 роки тому
Chào các bạn, Đây là video đầu tiên cho chuyên mục "chat with seniors". Ở mục này, tui sẽ mời một số bạn tham gia cùng và chia sẻ câu chuyện của các bạn ấy về quá trình học tập và làm việc. Seniors ở đây không hẳn phải là lớn tuổi, có thể một bạn sinh viên hoặc một bác nào đó 40t, miễn là câu chuyện của họ thú vị và mang đến một bài học gì đó cho mọi người là được. Cho Video đầu tiên, tui mang ...
Tại sao mình nghỉ việc Data Scientist? Lời khuyên cho các bạn muốn làm Data Scientist.
Переглядів 128 тис.3 роки тому
Hi các bạn, mình nhận được nhiều bạn inbox hỏi mình lý do mình không làm data scientist nữa. Sẵn đây mình làm luôn một cái video kể về công việc Data Scientist của mình cũng như lý do mà mình quyết định chuyển sang Data Engineer. Mình cũng có thêm một số lời khuyên dành cho bạn nào muốn theo nghiệp Data Scientist. Chúc các bạn xem video vui vẻ Fanpage: dataguystory 🐻 a b o u t 🐻 Mình tốt...
Chuyện cổ tích, bạn Dê làm Data Engineer
Переглядів 15 тис.3 роки тому
Xin chào mọi người , Có rất nhiều bạn thắc mắc về công việc của Data Engineer. Cụ thể Data Engineer là làm những gì, có giống với mấy khác hay không. Mình làm làm video để giải thích sơ sơ về một quá trình làm việc của Data Engineer từ khi mới ra trường đến trở thành senior nhé. Thuật ngữ được sử dụng - ETL, ELT, Extract Load Transform, Data Lake, Data Warehouse, Ingestion, Pipeline - Data Gove...
How did I build an AI recommendation for Japanese Adult Actresses.
Переглядів 20 тис.4 роки тому
Xin chào mọi người , Vừa rồi thì có một bạn mạnh thường quân đã donate, trả tiền để tui giúp bạn đó xây dựng một hệ thống gợi ý diễn viên Nhật Bản theo đúng gout. Sẵn nó vui vui nên tui quay clip chia sẻ quá trình. Lưu ý: hệ thống xây dựng bởi Senior Data Engineer nhằm mục đích vui vẻ là chính. Không quan trọng và Accuracy, Confusion matrix, f-score gì gì nha. Thuật nữa được sử dụng KMeans, Sil...
Ủa Database, Datalake, Data Warehouse là gì ? Giải thích bởi Senior Data Engineer
Переглядів 53 тис.4 роки тому
Chào các bạn, ở video này mình giải thích cho về các khái niệm siêu cơ bản của Data Engineer: Database - Datalake và Data Warehouse nha. Bonus thêm DataMart và vai trò của Data Engineer, Data Analytics, Data Scientist khi làm việc với hệ thống nữa. Một số thuật ngữ mà mình sử dụng: OLTP, OLAP, Snowflake, Star Schema, Data Modeling Fanpage: dataguystory About me: www.calvinio.com/about/ C...
Giải thích Big Data theo ngôn ngữ loài người bởi Senior Data Engineer
Переглядів 54 тис.4 роки тому
Chào các bạn, có nhiều bạn đang muốn tìm hiểu về Big Data nhưng những tài liệu trên mạng nó nặng về học thuật quá. Mình làm video này giải thích về Big Data theo cách đơn giản nhất để những bạn nào không phải dân IT cũng có thể hiểu được. Fanpage: dataguystory About me: www.calvinio.com/about/ Chúc mọi người xem video vui vẻ. 🐻 a b o u t 🐻 Mình tốt nghiệp thạc sĩ tại đại học quốc gia Sin...
Chuẩn bị phỏng vấn Data Engineer, quy trình tuyển dụng chi tiết.
Переглядів 17 тис.4 роки тому
Chào mọi người, ở video này mình chia sẻ với các bạn về quy trình tuyển dụng chi tiết dành cho Data Engineer. Nếu bạn nào thắc mắc về Data Engineer, đọc thêm ở đây nha: www.dataguystory.com/post/2020-05-27-nghe-data-engineer/ 0:00 Start 0:33 Vòng 1: Hackerrank 0:45 Vòng 2: Whiteboard coding 1:50 Vòng 3: Phỏng vấn với Data Engineer 5:10 Vòng 3: Hiring Manager Fanpage: dataguystory About m...
Tại sao Junior Data không nên lạm dụng Google Cloud ?
Переглядів 17 тис.4 роки тому
Ở video này mình chia sẻ về Google Cloud và tại sao các bạn Junior / Newbie không nên lạm dụng những công cụ có sẵn. Một số từ khóa mà mình đề cập trong video: Big Query, Dataflow, Data Pipeline, Datalake, Data Warehouse, ETL, Spark Job. Facebook: dataguystory About me: www.calvinio.com/about/ Subscribe: ua-cam.com/channels/YHKeGCNDpgbof7uPXrEWbQ.html 🐻 a b o u t 🐻 Mình tốt nghiệp thạc s...
Học Data Engineer bắt đầu như thế nào? Cánh cửa bước vào con đường Data Engineer.
Переглядів 60 тис.4 роки тому
Với video này mình hy vọng các bạn có thể tìm được cánh cửa để bước vào con đường Data Engineer nhé. Nghề Data Engineer: www.dataguystory.com/post/2020-05-27-nghe-data-engineer/ Datalake và Data Warehouse: www.dataguystory.com/post/2020-08-15-sai-lam-pho-bien-khi-hoc-data-database-data-warehouse/ Một số từ khóa mà mình đề cập trong video: Leetcode: leetcode.com/ Datalake, Data Warehouse, Data M...
Kĩ năng lập trình có quan trọng đối với ngành Data?
Переглядів 19 тис.4 роки тому
Bạn xuất thân từ CNTT, Kinh tế, Marketing, Tài Chính......Bạn có muốn bước chân vào Data và tự hỏi liệu ngành Data có đòi hỏi kĩ năng lập trình hay không? Qua video này mình hy vọng các bạn sẽ hiểu thêm được kĩ năng cần thiết cho ngành Data và lựa chọn con đường phù hợp của chính mình :) 0:00 Start 0:32 Level 1 - Data Analyst 1:12 Level 2 - Data Scientist 1:52 Level 3 - Data Engineer Facebook F...
lâu rồi chưa thấy a ra video
Ở Vn tới thời điểm tháng 11/2024 hiện tại mà triển khai DA còn không xong tật, chỉ dừng lại ở mức làm báo cáo, dashboard tự động bằng BI tools, chứ rất ít dùng python, ml, dl để phân tích, vì các phòng ban khác, các stakeholder họ có hiểu dc đâu 😂
Dạ cho em hỏi là giờ a còn làm trong lĩnh vực DA DE nữa k anh
Vẫn làm DE nha, chưa có bỏ nghề đâu :))
@ mà mình làm DA,DE có học qua mảng kinh doanh kinh tế gì k a, e nghe bảo làm mỗi chỗ mỗi khác á :)))
DA thì đúng là cần có domain knowledge nên phải biết về bên kinh tế, đa phần các bạn DA không phải là dân IT. Còn DE là SWE mà, thuần IT luôn
em học trái ngành anh cho em hỏi có trung tâm nào dạy data ổn không anh
có khóa học DE luôn không mng nhỉ
cảm ơn ạ.
Theo dõi a cũng lâu , mong anh một lần up một video đầy đủ về lộ trình cơ bản đến nâng cao CỦa Nghề DE đươc Không anh .MOng anh rep ạ.
Hình như trên fanpage có cái pin lộ trình căn bản á. Lộ trình nâng cao thì chưa có nè
Mình có thắc mắc là Spark cũng có hỗ trợ SQL thì còn cần dùng Hive làm gì nữa nhỉ? Đặc biệt khi chạy câu lệnh bằng Hive cảm giác xử lý chậm hơn hẳn so với Spark
Hive dùng làm metastore nhé bạn. Chủ yếu sử dụng Hive để chứa metadata của tables chứ không dùng hive engine.
1/8/2024 Em chào anh Anh ơi em nay là svien năm 2 định theo DE nhưng em thấy thị trường k có job cho intern DE thì bh mình nên theo cái gì để có job r dần dần chuyển sang DE ạ. Em thấy mn bảo theo BE trước r chuyển sang DE, mà e hoang mang k rõ BE thì có thuộc DA k nữa, mong anh nếu có thời gian anh làm 1 vd nữa về BE được k ạ
BE là Backend Engineer ấy hả em, nó đâu liên quan gì đến DA đâu
Giờ em mới biết mình thực sự đang làm ở vị trí nào. Công ty em tuyển thì ở vị trí DE nhưng công việc hiện tại đang làm là Data Analytics Engineer.
Thì cũng đc mà ha, sau này mà đi chỗ khác thì apply BI Engineer là ok nè
a hướng dẫn thu thập dữ liệu IoT vào DataLake đi a
hiện tại vẫn còn cơ hội cho DE k a, e định từ software chuyển sang, a cho e xin ý kiến
cơ hội thì vẫn còn á, mà do thị trường khó khăn nên đa số các công ty họ cần người có kinh nghiệm. Fresher và Junior rất là ít luôn á
Anh cho em hỏi DE có cần học ML không ạ ?
Không nhé, hầu như không cần thiết luôn á
anh ơi em thấy việc tìm intern Data engineer cho sinh viên mới ra trường khá khó và hiếm, vậy em có thể tìm theo hướng nào khác để sau phát triển tiếp thành data engineer ạ
anh ơi cái quyển sách về DE anh sắp ra mắt đâu r ạ
sắp rồi, hứa luôn, bao hay và free luôn nha
anh có ra vid về schema chưa ạ
Rồi sắp có offline chưa anh ơiiii Em muốn gập các tiền bối trong nghề lắm rồi =)))
Offline mấy lần rồi á em =))
@@DataGuyStory :V em không nghe j hết :<
Đọc bình luận thôi cũng thấy 1 đống kiến thức =)))
cảm ơn video của anh đã giúp em hình dung rõ hơn về công việc của một data engineer
Chào a , e muốn hỏi một vấn đề , hiện tại hệ thống đang có đâu đó 1xxx các ETL chạy bằng lambda của aws để insert data vào dwh cũng như các hệ thống khác , thì có cách nào để visualize data flow không ạ
Nếu stack xài aws thì có cái aws quickSight á. Em thử cho read metadata sang quickSight để làm data lineage xem
Không hiểu sao em chạy sbt clean assembly để tạo file jar bị lỗi không fix đc???
Anh ơi cho em hỏi là giữa scala2 và scala3 thì mình thường sẽ sử dụng phiên bản nào tại em thấy giữa 2 phiên bản này về các câu lệnh, cú pháp có vẻ khác nhau và liệu nó có chạy hiệu quả hơn với scala3 không vì tại nó là phiên bản mới. Em cảm vì anh đã ra những video chất lượng về chủ đề Data Engineer này và mong a sớm ra video mới.
cứ học cái mới nhất thôi em. Scala3 mà quất, cơ mà anh thấy cũng không khác nhau mấy
🤯🤯🤯
Hi a , e đang tìm hiểu về big data, e thấy video của a rất hay nhưng do mới tìm hiểu nên ko hiểu tại sao lại code bằng file đuôi jar. E đã biết sẳn ngôn ngữ typescript vậy có thể dùng typescrip ko ạ.
Cảm ơn a, video rất hữu ích ạ❤
A bỏ nhạc đi để nghe giọng a rõ hơn
video dễ hiểu quá, cảm ơn A. Chúc A sức khỏe
Chào a Duy. E hiện tại đang làm trong ngành logistics. Em chưa từng học IT và chưa từng làm qua bất vị trí nào trong ngành IT. Bây giờ e muốn chuyển sang làm data engineer. Với ng tất cả từ con số 0 như em có thể học để trở thành data engineer ko a ? Nếu có thể thì sẽ bắt đầu từ đâu và lộ trình như thế nào ạ. Xin a tư vấn cho em với ạ. Em thật sự muốn trở thành 1 data engineer. Em cảm ơn a.
A Duy ơi. Em hiện tại làm trong ngành logistics. Bây giờ e muốn chuyển sang làm data engineer. Em chưa từng học IT và cũng chưa từng làm việc gì liên quan đến IT. Tất cả kiến thức đều là số 0. Vậy em có thể học để trở thành data engineer không a ? Em nên bắt đầu từ đâu ạ ? Xin a tư vấn cho em lộ trình học từ đầu ạ. Em xin cảm ơn.
Cám ơn anh rất nhiều về những chia sẻ ❤❤
em chào anh ạ, anh ơi em thấy xu hướng hiện tại đẩy mọi thứ lên cloud thì anh có thấy rằng data platform engineer có đang mất dần chỗ đứng không ạ, và mình nên đi theo hướng nào hợp lý ạ
Ủa Data Platform còn cần hơn DE khi chuyển mọi thứ lên cloud mà em. Sao lại mất dần chỗ đứng =))
@@DataGuyStory Ví dụ như Hadoop và spark bây giờ mình không cần lo cài nữa mà cloud có thể lo hết việc đó luôn rồi, đối với thị trường vn là thế nên em thấy hơi lo lắng ạ
a ơi, vậy nếu như mỗi cái nhu cầu báo cáo, phân tích khác nhau thì dữ liệu mình đổ vào data warehouse sẽ khác nhau, vậy thì với một datalake mình sẽ có nhiều data warehouse đúng k ạ
Data Warehouse chỉ có một thôi nhé. Nên người ta mới gọi là Single Source of Truth
Cảm ơn anh, vd rất dễ hiểu ạ
cho em xin in4 đồng hồ anh đeo với a Cảnh
Tudor BB 54 nha
Video của bạn rất hữu ích, cảm ơn bạn❤
Xem ông anh từ hồi mình mới chập chững bước vào data giờ cũng thấp thoáng 2.5 năm rùi cảm thấy xem vẫn có động lực theo đuổi data như hồi mới ngày nào
Này đa phần chắc chỉ có bên cty ở nc ngoài thôi, chứ việt nam thì đa phần doanh nghiệp mún 1 ông data phải biết tuốt từ data science, data analyst, data engineer, kiêm hết 😂
chuẩn rồi, lương 10tr nhiều khi còn phải viết content nữa mà =))
Đúng òi, 1 người phụ trách tất tần tần về data chứ ko có chia role gì hết 😆. Đc cái như vầy thì exp lên nhanh do việc gì cũng đến tay
Với trend AI như hiện tại, thì việc định hướng học data cơ được ko bạn nhỉ, và chi tiết hơn là nên học chuyên sâu ra sao
Long time no see!
boss, haha
năm ngoái còn nhắn hỏi anh về vụ set up data stack và dc anh giao task build cái app nho nhỏ dùng airflow lấy api từ dummy đầy vào mysql r dùng spark ETL vào hadoop, mà h em đang fresher DE rồi :))) k biết anh có nhớ em không :v
Xịn vậy, rồi cái data stack đó có làm đc ko hay có việc trc khi xong rồi 😂😂
@@DataGuyStory haha, em làm được rùi anh ui, mà anh cho em hỏi với h cty em đang dùng prefect để automate ETL trên google cloud platform, e đang tính triển khai cloud composer thì nó có tối ưu hơn prefect không anh nhỉ
@@NamNguyen-pn1od à, để so sánh thì phải tùy vào công ty thôi. Prefect nó mới hơn nên hỗ trợ từ cộng đồng sẽ ít hơn airflow. Airflow kiểu lão làng nên đa phần các bug/issue/tasks đều sẽ kiếm được solution. Còn về performance hay tối ưu thì tùy thuộc vào người dùng, airflow cũng có cách để tối ưu performance hay workflow tốt hơn. Prefect có thể dễ hơn vì nó mới và hỗ trợ được những cái thiếu sót của airflow. Nếu mà chỉ làm việc đơn thuần với scheduling, workflow này nọ thì prefect với airflow là nhưng nhau thôi. Còn nếu em quyết định làm những task khó hơn đòi hỏi complex workflow and tối ưu thì anh recommend airflow vì support từ cộng đồng tốt hơn.
@@DataGuyStory dạ em cảm ơn anh ạ <3
Làm Data Engineer thì ngôn ngữ R có hữu ích không anh
Chào anh, lâu lắm rồi mới thấy anh lên video, bắt đầu xem anh từ hồi mới chập chững học DE để chuyển ngành, nay em mới được nhận vào vị trí fresher rồi, bữa chuẩn bị phỏng vấn có lục lại video của anh để ôn lại kiến thức, cảm ơn anh nhiều. Chúc anh nhiều sức khoẻ và thành công.
hay quá anh ơi, mong anh tiếp tục ra video kiểu này. Em đang từ BE chuyển sang học DE, video của anh hữu ích quá. Em chúc anh sức khỏe và tiếp tục ra những video như này ạ.
chời ơi lâu lắm r mới thấy a ra video, không biết a còn nhớ không nhma từng có 1 bạn sv năm nhất nhắn hỏi a về lộ trình trở thành một DE và bây giờ bạn đó chuẩn bị nhắn nhờ a review cv thực tập DE nè :333
xịn, quăng cv qua anh xem thử tiến bộ tới đâu rồi :D
Anh ơi em muốn làm DS thì có cần phải học ctdl và gth ko a ?
longtime no see
lâu lắm mới thấy anh lên videos, em theo dõi anh từ hồi năm nhất, qua các kiểu từ research đến applied CV, cuối cùng đang chuẩn bị quay qua làm MLOps thì anh lên video :)) đúng ý trời luôn ạ
hello a, lâu rùi không có video của anh để xem
hay quá a!!!
Chào anh em, cho mình hỏi là không có gốc gác về kinh tế có học được BI hoặc Business Engineer không. Mình là 100% bên kỹ thuật-cntt, đang học về DE và hiện cũng đang kiếm việc làm nhưng mà ít job DE intern/fresher/entry level quá.
được nhé, cứ thử apply thôi sợ gì nè.
@@DataGuyStory Hi anh, dạo này thị trg DE ít job cho newbie quá. Em cũng đã làm vài projects, có tiếng anh, có IBM cert nhưng cũng khó kiếm job quá anh. Hầu hết là min 1.5y- 2y exp :((((
Thật sự nhiều khi cái min experiences nó cũng không quan trọng đâu. Công ty họ tìm người biết làm là chủ yếu, nhiều khi kinh nghiệm 3 năm mà cũng không biết làm ấy chớ. Em ping CV của em sang fanpage anh xem thử thế nào nhé